LiteLLM
Berrie AI Incorporated (BerriAI) ·www.litellm.ai· Stand: 2026-07-30
Unser Urteil
Ein Modell-Gateway macht niemanden unterscheidbar. Wer keines hat, verliert die Übersicht über Ausgaben und Zugriffe, kann bei einem Preis- oder Qualitätssprung das Modell nicht tauschen und hat im Prüfungsfall keine Nachweise. Wer eines hat, hat damit nur die Rückfallgefahr beseitigt. Der Vorsprung entsteht aus den Anwendungen darüber, nicht aus der Vermittlungsschicht.
Für wen es taugt
Solopreneur
bedingt geeignet
Die Programmbibliothek trägt sofort. Der Betrieb des Vermittlers samt eigener Datenbank, Aktualisierungen und Sicherheitspflege ist für eine Person meist mehr Aufwand, als eine einzelne Anwendung rechtfertigt.
KMU
geeignet
Ab dem zweiten Team, das Modelle aufruft, ist der Vermittler billiger als die verstreuten Schlüssel. Selbstbetrieb kostet keine Lizenz, nur Betriebszeit, und die Zugangsdaten bleiben im Haus.
Konzern
bedingt geeignet
Anmeldung über den Unternehmensverzeichnisdienst, Prüfprotokolle und Zugriffsschutz liegen hinter der kostenpflichtigen Ausgabe, deren Preis nicht veröffentlicht ist. Zusätzlich ist der Anbieter klein, und die Nachweise gibt es nur unter Vertrag.
Kaufen, wechseln oder bauen
Standardprodukt
Direkt beim Modellanbieter oder über dessen Cloud-Gateway
Jede Anwendung spricht das Modell direkt an, oder alles läuft über das Gateway einer großen Cloud. Der Start ist am schnellsten und die Abrechnung liegt schon im bestehenden Vertrag. Der Preis ist die Bindung: Schlüssel verstreuen sich, ein Modellwechsel wird zum Umbau, und die Ausgabenübersicht endet an der Grenze des jeweiligen Anbieters.
KI-nativ
Verwaltetes Gateway als Dienst
Dienste wie Portkey, OpenRouter oder Helicone liefern dieselbe Vermittlung als fertigen Zugang, ohne eigenen Betrieb. Das spart Zeit und kostet den entscheidenden Punkt: Jeder Aufruf und jedes Protokoll läuft über einen dritten Anbieter. Für Häuser mit Prüfungspflichten ist das die schwerere Auskunft, nicht die leichtere.
Eigenbau
Eigener dünner Vermittler vor den Anbieter-Schnittstellen
Ein Dienst von zweihundert Zeilen, der Schlüssel hält und Aufrufe weiterreicht, ist an einem Tag gebaut. Teuer wird das Danach: Ausweichrouten, Wiederholungen, Zählung der Kosten je Modell, Streaming, Werkzeugaufrufe, Anbindung neuer Anbieter. Genau dieses Danach ist der eigentliche Inhalt des Werkzeugs, und es ist quelloffen zu haben.
Unser Rat
- Solopreneur: Die Programmbibliothek nutzen, den Vermittler noch nicht betreiben.
- KMU: Selbst betreiben. Der freie Umfang deckt Schlüsselverwaltung, Budgets und Ausweichrouten.
- Konzern: Selbst betreiben, aber vor der Lizenz Preis, Prüfbericht und Reaktionszeiten schriftlich holen.
Wer dahinter steht
Tragfähigkeit: Jung
Drei Jahre am Markt, kleines Team, eine im Verhältnis zur Verbreitung sehr kleine Finanzierungsrunde. Die Verbreitung des Quellcodes ist das stärkste Signal, nicht die Bilanz des Anbieters.
- Gegründet und Jahrgang: 2023, Y Combinator Winter 2023, Gründer Krrish Dholakia und Ishaan Jaffer · Quelle · Stand 2026-07-30
- Finanzierung: 1,6 Mio. US-Dollar Startfinanzierung (Y Combinator, Gravity Fund, Pioneer Fund); höhere Summen kursieren in Datenbanken ohne Anbieterbestätigung · Quelle · Stand 2026-07-30
- Teamgröße: 10 Personen laut Selbstauskunft im Y-Combinator-Verzeichnis · Quelle · Stand 2026-07-30
- Verbreitung des Quellcodes: rund 55.100 Sterne und 10.200 Abspaltungen auf GitHub, laufende Veröffentlichungen · Quelle · Stand 2026-07-30
- Nachweise: SOC 2 Type 2 und ISO 27001 laut Unternehmensseite; die Dokumentation nennt an anderer Stelle noch SOC 2 Type I mit laufendem Type-II-Verfahren · Quelle · Stand 2026-07-30
- Sicherheitsvorfall: 24.03.2026: kompromittierte Pakete v1.82.7 und v1.82.8 auf PyPI mit Zugangsdaten-Dieb, rund 40 Minuten verfügbar; Docker-Abbilder und Quellcode nicht betroffen · Quelle · Stand 2026-07-30
Ausstiegskosten: Gering
Der Kern steht unter MIT-Lizenz und läuft auf eigener Infrastruktur. Die Schnittstelle ist zum OpenAI-Format kompatibel, die Konfiguration liegt in einer Datei, Schlüssel und Ausgabenprotokolle in einer eigenen Postgres-Datenbank. Wer aussteigt, richtet die Anwendungen wieder direkt auf die Modellanbieter und nimmt seine Daten mit. Teuer wird nur der Verzicht auf die kostenpflichtigen Funktionen, wenn man sie erst einmal hat.
Regulatorik und Daten
| Auftragsverarbeitung | beim Selbstbetrieb nicht erforderlich, für die verwaltete Cloud nicht öffentlich belegtIm Selbstbetrieb verarbeitet der Anbieter keine Inhalte, damit entfällt die Auftragsverarbeitung. Ein öffentlich abrufbarer Vertrag zur Auftragsverarbeitung für die verwaltete Ausgabe war unter litellm.ai und docs.litellm.ai nicht auffindbar.Quelle · Stand 2026-07-30 |
|---|---|
| Speicherort | eigene Infrastruktur beim Selbstbetrieb; verwaltete Ausgabe wahlweise EU-Region Frankfurt (eu-central-1) oder USA (us-west-1, us-east-1)Der Anbieter erklärt für den Selbstbetrieb ausdrücklich, dass keine Daten und keine Telemetrie auf seinen Servern landen. Der Ort bestimmt sich damit allein durch die eigene Umgebung.Quelle · Stand 2026-07-30 |
| Subunternehmer | beim Selbstbetrieb keine; verwaltete Ausgabe auf GCP und AWS, Datenbank teilweise über NeonDBEine vollständige, gepflegte Liste der Unterauftragnehmer mit Änderungsmitteilung wird nicht veröffentlicht. Genannt sind nur diese drei Namen in der Dokumentation.Quelle · Stand 2026-07-30 |
| Drittlandübermittlung | im Selbstbetrieb steuerbar, hängt an den angebundenen ModellanbieternDas Gateway selbst überträgt nichts in ein Drittland. Der Übertrag entsteht durch das Modell dahinter, und genau diese Auswahl lässt sich in der Konfiguration je Schlüssel und Team begrenzen.Quelle · Stand 2026-07-30 |
| Training mit Kundendaten | kein Anbieterzugriff auf Inhalte im SelbstbetriebDa die Aufrufe die eigene Umgebung nicht verlassen, stellt sich die Trainingsfrage nicht gegenüber diesem Anbieter, sondern gegenüber dem jeweiligen Modellanbieter dahinter. Das bleibt eine getrennte Prüfung je Modell.Quelle · Stand 2026-07-30 |
| Aufbewahrung und Löschung | vom Betreiber selbst festgelegt, Ausgabenprotokolle über eine Aufbewahrungsfrist automatisch löschbarDie Dokumentation zeigt einen Konfigurationswert, mit dem Protokolle nach einer gesetzten Frist gelöscht werden. Die Frist bestimmt der Betreiber, nicht der Anbieter.Quelle · Stand 2026-07-30 |
| Zertifikate | SOC 2 Type 2 und ISO 27001 laut Unternehmensseite, Berichte nur auf Anfrage im kostenpflichtigen TarifDie Angaben widersprechen sich. Die Unternehmensseite nennt SOC 2 Type 2, die Dokumentationsseite spricht von SOC 2 Type I und einem Type-II-Verfahren mit einem längst verstrichenen Zieldatum. Vor einer Unterschrift gehört der tatsächliche Bericht auf den Tisch.Quelle · Stand 2026-07-30 |
| EU-KI-Verordnung, Artikel 50 | unklarWeder Unternehmensseite noch Dokumentation äußern sich zu den Transparenzpflichten. Das Gateway ist kein Modellanbieter, die Pflicht trifft in der Regel den Betreiber der Anwendung. Nützlich ist, dass jeder Aufruf an einer Stelle protokolliert werden kann.ohne Quellenangabe · Stand 2026-07-30 |
| Protokollierung | Ausgaben- und Nutzungsprotokolle in der freien Ausgabe, Prüfprotokolle mit Aufbewahrungsregel nur in der kostenpflichtigen AusgabeWer die revisionssichere Spur über Schlüsselvergabe und Rechtevergabe braucht, braucht die Lizenz. Reine Kosten- und Nutzungstransparenz gibt es ohne Lizenz.Quelle · Stand 2026-07-30 |
Was es wirklich kostet
Einstieg
Der Kern ist unter MIT-Lizenz kostenlos, wird als Docker-Abbild betrieben und braucht eine eigene Postgres-Datenbank. Anmeldung über einen Verzeichnisdienst ist bis zu fünf Personen kostenfrei. Die Kosten sind zunächst reine Betriebskosten.
Quelle · Stand2026-07-30
Was teuer wird
An zwei Stellen. Erstens beim Übergang in die kostenpflichtige Ausgabe: Anmeldung über den Verzeichnisdienst über fünf Personen hinaus, Prüfprotokolle, Zugriffsbeschränkung nach Adressbereich und die Reaktionszeiten sind nur mit Lizenz zu haben, und der Preis dafür steht nirgends öffentlich. Zweitens beim Betrieb: Der Vorfall vom März 2026 zeigt, dass diese Schicht schnell aktualisiert werden muss. Wer das nicht als feste Routine hat, zahlt später anders.
Was es verdrängt
- Modellschlüssel verstreut über einzelne Dienste und Personen
- Anbietereigene Bibliotheken tief im Anwendungscode
- Kostenübersicht je Modellanbieter statt je Team
Schnittstellen
- OpenAI-kompatible HTTP-Schnittstelle für mehr als 100 Anbieter
- Python-Programmbibliothek
- Konfigurationsdatei und Administrationsoberfläche
- Eigene Postgres-Datenbank für Schlüssel, Budgets und Protokolle
- Protokollausleitung nach OpenTelemetry, Langfuse, Langsmith, Arize
Bei uns: Nicht von uns genutzt
Bei Convios nicht im Einsatz. Der Datensatz beruht auf öffentlichen Quellen des Anbieters, nicht auf eigenem Betrieb.
Belege
- 1.Kern unter MIT-Lizenz, Verzeichnis enterprise unter gesonderter Lizenz · Stand 2026-07-30
- 2.Kostenpflichtiger Umfang, Reaktionszeiten, Nachweise, kostenfreie Anmeldung bis fünf Personen, Preis nur auf Anfrage · Stand 2026-07-30
- 3.Keine Daten und keine Telemetrie beim Anbieter im Selbstbetrieb, Regionen der verwalteten Ausgabe, Nachweise · Stand 2026-07-30
- 4.Prüfprotokolle, Zugriffsbeschränkung, Mandantentrennung und Schutzregeln im kostenpflichtigen Umfang · Stand 2026-07-30
- 5.Kompromittierte Pakete v1.82.7 und v1.82.8 am 24.03.2026, Docker-Abbilder nicht betroffen · Stand 2026-07-30
- 6.Gründungsjahr, Jahrgang, Gründer, Teamgröße und Startfinanzierung · Stand 2026-07-30
- 7.Aufbewahrungsfrist für Ausgabenprotokolle ist konfigurierbar · Stand 2026-07-30
Zuletzt geprüft: 2026-07-30vonDr. Oliver Gausmann, Convios GmbH
Angaben veraltet? Schreiben Sie uns.