vLLM
Högpresterande servering av språkmodeller i produktion.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 93k
- Driftsättning
- Docker (GPU)
Open source-alternativ till Amazon Bedrock
Amazon Bedrock i kategorin AI. Här är de öppna alternativ vi rekommenderar att titta på.
SGLang
Snabbt ramverk för att servera stora språkmodeller och multimodala modeller i produktion.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 36.7k
- Driftsättning
- Library
Xinference
Plattform för att köra öppna språk-, tal- och multimodala modeller bakom ett gemensamt API, lokalt eller i moln.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 9.6k
- Driftsättning
- Docker
LMDeploy
Verktygslåda för att komprimera, driftsätta och servera språkmodeller effektivt.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 8.1k
- Driftsättning
- Library
LM Studio MLX engine
Motorn som LM Studio använder för att köra modeller med Apples MLX på Mac.
MITTillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 1.2k
- Driftsättning
- Library
Detta är vägledning, inte juridisk rådgivning. Kontrollera med jurist innan beslut.
Logga in för mer
- Full licensanalys per användningsfall (egen drift, ändringar, driftad tjänst, AI-användning)
- Spara produkter i egna listor
- Systemkarta: kartlägg verktygen ni redan använder (kommer snart)
- Personlig hjälp och AI-rådgivning (kommer snart)