LiteLLM
Berrie AI Incorporated (BerriAI) ·www.litellm.ai· Stand: 2026-07-30
Dieses Werkzeug mit KI durchgehen
Unser Urteil
Ein Modell-Gateway macht niemanden unterscheidbar. Wer keines hat, verliert die Übersicht über Ausgaben und Zugriffe, kann bei einem Preis- oder Qualitätssprung das Modell nicht tauschen und hat im Prüfungsfall keine Nachweise. Wer eines hat, hat damit nur den Rückstand vermieden. Der Vorsprung entsteht aus den Anwendungen darüber, nicht aus der Vermittlungsschicht.
Belege:Kern unter MIT-Lizenz, Verzeichnis enterprise unter gesonderter LizenzZur QuelleKostenpflichtiger Umfang, Reaktionszeiten, Nachweise, kostenfreie Anmeldung bis fünf Personen, Preis nur auf AnfrageZur QuelleKeine Daten und keine Telemetrie beim Anbieter im Selbstbetrieb, Regionen der verwalteten Ausgabe, NachweiseZur QuellePrüfprotokolle, Zugriffsbeschränkung, Mandantentrennung und Schutzregeln im kostenpflichtigen UmfangZur QuelleKompromittierte Pakete v1.82.7 und v1.82.8 am 24.03.2026, Docker-Abbilder nicht betroffenZur QuelleGründungsjahr, Jahrgang, Gründer, Teamgröße und StartfinanzierungZur QuelleAufbewahrungsfrist für Ausgabenprotokolle ist konfigurierbarZur Quelle
Für wen es taugt
Solopreneur
bedingt geeignet
Die Programmbibliothek lohnt sich sofort. Der Betrieb des Vermittlers samt eigener Datenbank, Aktualisierungen und Sicherheitspflege ist für eine Person meist mehr Aufwand, als eine einzelne Anwendung rechtfertigt.
KMU
geeignet
Ab dem zweiten Team, das Modelle aufruft, ist der Vermittler billiger als die verstreuten Schlüssel. Selbstbetrieb kostet keine Lizenz, nur Betriebszeit, und die Zugangsdaten bleiben im Haus.
Konzern
bedingt geeignet
Anmeldung über den Unternehmensverzeichnisdienst, Prüfprotokolle und Zugriffsschutz liegen hinter der kostenpflichtigen Ausgabe, deren Preis nicht veröffentlicht ist. Zusätzlich ist der Anbieter klein, und die Nachweise gibt es nur unter Vertrag.
Kaufen, wechseln oder bauen
Standardprodukt
Direkt beim Modellanbieter oder über dessen Cloud-Gateway
Jede Anwendung spricht das Modell direkt an, oder alles läuft über das Gateway einer großen Cloud. Der Start ist am schnellsten und die Abrechnung liegt schon im bestehenden Vertrag. Der Preis ist die Bindung: Schlüssel verstreuen sich, ein Modellwechsel wird zum Umbau, und die Ausgabenübersicht endet an der Grenze des jeweiligen Anbieters.
KI-nativ
Verwaltetes Gateway als Dienst
Dienste wie Portkey, OpenRouter oder Helicone liefern dieselbe Vermittlung als fertigen Zugang, ohne eigenen Betrieb. Das spart Zeit und kostet den entscheidenden Punkt: Jeder Aufruf und jedes Protokoll läuft über einen dritten Anbieter. Für Häuser mit Prüfungspflichten ist das die schwerere Auskunft, nicht die leichtere.
Eigenbau
Eigener dünner Vermittler vor den Anbieter-Schnittstellen
Ein Dienst von zweihundert Zeilen, der Schlüssel hält und Aufrufe weiterreicht, ist an einem Tag gebaut. Teuer wird das Danach: Ausweichrouten, Wiederholungen, Zählung der Kosten je Modell, Streaming, Werkzeugaufrufe, Anbindung neuer Anbieter. Genau dieses Danach ist der eigentliche Inhalt des Werkzeugs, und es ist quelloffen zu haben.
Unser Rat
- Solopreneur: Die Programmbibliothek nutzen, den Vermittler noch nicht betreiben.
- KMU: Selbst betreiben. Der freie Umfang deckt Schlüsselverwaltung, Budgets und Ausweichrouten.
- Konzern: Selbst betreiben, aber vor der Lizenz Preis, Prüfbericht und Reaktionszeiten schriftlich holen.
Wer dahinter steht
Tragfähigkeit: Jung
Drei Jahre am Markt, kleines Team, eine im Verhältnis zur Verbreitung sehr kleine Finanzierungsrunde. Die Verbreitung des Quellcodes ist das stärkste Signal, nicht die Bilanz des Anbieters.
- Gegründet und Jahrgang: 2023, Y Combinator Winter 2023, Gründer Krrish Dholakia und Ishaan JafferGründungsjahr, Jahrgang, Gründer, Teamgröße und StartfinanzierungZur Quelle · Stand 2026-07-30
- Finanzierung: 1,6 Mio. US-Dollar Startfinanzierung (Y Combinator, Gravity Fund, Pioneer Fund); höhere Summen kursieren in Datenbanken ohne AnbieterbestätigungGründungsjahr, Jahrgang, Gründer, Teamgröße und StartfinanzierungZur Quelle · Stand 2026-07-30
- Teamgröße: 10 Personen laut Selbstauskunft im Y-Combinator-VerzeichnisGründungsjahr, Jahrgang, Gründer, Teamgröße und StartfinanzierungZur Quelle · Stand 2026-07-30
- Verbreitung des Quellcodes: rund 55.100 Sterne und 10.200 Abspaltungen auf GitHub, laufende Veröffentlichungengithub.com/BerriAI/litellmZur Quelle · Stand 2026-07-30
- Nachweise: SOC 2 Type 2 und ISO 27001 laut Unternehmensseite; die Dokumentation nennt an anderer Stelle noch SOC 2 Type I mit laufendem Type-II-VerfahrenKostenpflichtiger Umfang, Reaktionszeiten, Nachweise, kostenfreie Anmeldung bis fünf Personen, Preis nur auf AnfrageZur Quelle · Stand 2026-07-30
- Sicherheitsvorfall: 24.03.2026: kompromittierte Pakete v1.82.7 und v1.82.8 auf PyPI mit Zugangsdaten-Dieb, rund 40 Minuten verfügbar; Docker-Abbilder und Quellcode nicht betroffenKompromittierte Pakete v1.82.7 und v1.82.8 am 24.03.2026, Docker-Abbilder nicht betroffenZur Quelle · Stand 2026-07-30
Ausstiegskosten: Gering
Der Kern steht unter MIT-Lizenz und läuft auf eigener Infrastruktur. Die Schnittstelle ist zum OpenAI-Format kompatibel, die Konfiguration liegt in einer Datei, Schlüssel und Ausgabenprotokolle in einer eigenen Postgres-Datenbank. Wer aussteigt, richtet die Anwendungen wieder direkt auf die Modellanbieter und nimmt seine Daten mit. Teuer wird nur der Verzicht auf die kostenpflichtigen Funktionen, wenn man sie erst einmal hat.
Regulatorik und Daten
| Auftragsverarbeitungbelegt, ohne Auflage: Auftragsverarbeitungsvertrag öffentlich abrufbar und ohne weitere Bedingung Bestandteil des Vertrags; oder er entfällt nachvollziehbar begründet, weil kein Anbieter Kundendaten verarbeitet.belegt, an eine Auflage gebunden: Vertrag existiert, ist aber an einen Tarif gebunden, nur nach Anfrage einsehbar oder allein in den Nutzungsbedingungen geregelt statt als eigenes Dokument.belegt, aber ungünstig: Kein Auftragsverarbeitungsvertrag im üblichen Sinn: entweder weil der Anbieter für das Kerngeschäft eigenständig Verantwortlicher ist und stattdessen eine andere Konstruktion gilt, oder weil öffentlich offen bleibt, ob überhaupt einer angeboten wird.an einem kritischen Punkt offen: Weder ein Vertrag noch ein dokumentierter Weg zu einem Vertrag; der Einkauf hätte nichts, worauf er sich stützen kann. | belegt, an eine Auflage gebundenbeim Selbstbetrieb nicht erforderlich, für die verwaltete Cloud nicht öffentlich belegtKeine Daten und keine Telemetrie beim Anbieter im Selbstbetrieb, Regionen der verwalteten Ausgabe, NachweiseZur QuelleIm Selbstbetrieb verarbeitet der Anbieter keine Inhalte, damit entfällt die Auftragsverarbeitung. Ein öffentlich abrufbarer Vertrag zur Auftragsverarbeitung für die verwaltete Ausgabe war unter litellm.ai und docs.litellm.ai nicht auffindbar.Stand 2026-07-30 |
|---|---|
| Speicherortbelegt, ohne Auflage: EU-Speicherort ohne Zusatzkosten und ohne Tarifbindung, oder der Ort ist vollständig selbst bestimmbar, weil das Werkzeug im eigenen Betrieb läuft.belegt, an eine Auflage gebunden: EU-Speicherort möglich, aber an einen Tarif, einen gesondert zu aktivierenden Zusatz oder einen Umzug in eine getrennte Umgebung gebunden; oder die EU-Region ist nicht die Voreinstellung.belegt, aber ungünstig: Kein EU-Speicherort, der Ort ist aber eindeutig benannt, sodass die Folgen bewertbar sind.an einem kritischen Punkt offen: Der Speicherort ist öffentlich nicht benannt oder vom Kunden nicht steuerbar, sodass sich die Verarbeitung nicht verorten lässt. | belegt, ohne Auflageeigene Infrastruktur beim Selbstbetrieb; verwaltete Ausgabe wahlweise EU-Region Frankfurt (eu-central-1) oder USA (us-west-1, us-east-1)Keine Daten und keine Telemetrie beim Anbieter im Selbstbetrieb, Regionen der verwalteten Ausgabe, NachweiseZur QuelleDer Anbieter erklärt für den Selbstbetrieb ausdrücklich, dass keine Daten und keine Telemetrie auf seinen Servern landen. Der Ort bestimmt sich damit allein durch die eigene Umgebung.Stand 2026-07-30 |
| Subunternehmerbelegt, ohne Auflage: Vollständige öffentliche Liste der Unterauftragnehmer mit Zweck und Land; oder es gibt keine, weil das Werkzeug im eigenen Betrieb läuft.belegt, an eine Auflage gebunden: Liste existiert und ist benannt, aber nur nach Anfrage oder nach Zugang zu einem Vertrauensportal einsehbar, oder sie nennt Zweck und Land nicht vollständig.belegt, aber ungünstig: Keine geführte Liste; namentlich stehen nur einzelne Dienste in der Datenschutzerklärung, überwiegend solche der eigenen Website.an einem kritischen Punkt offen: Weder eine Liste noch eine Nennung der Verarbeiter des Produkts, und kein dokumentierter Weg, sie zu erfahren. | belegt, an eine Auflage gebundenbeim Selbstbetrieb keine; verwaltete Ausgabe auf GCP und AWS, Datenbank teilweise über NeonDBKeine Daten und keine Telemetrie beim Anbieter im Selbstbetrieb, Regionen der verwalteten Ausgabe, NachweiseZur QuelleEine vollständige, gepflegte Liste der Unterauftragnehmer mit Änderungsmitteilung wird nicht veröffentlicht. Genannt sind nur diese drei Namen in der Dokumentation.Stand 2026-07-30 |
| Drittlandübermittlungbelegt, ohne Auflage: Keine Übermittlung in ein Drittland, oder die Übermittlung findet statt und die Grundlage ist benannt und im Vertrag verankert, etwa Standardvertragsklauseln, Angemessenheitsbeschluss oder EU-US-Datenschutzrahmen.belegt, an eine Auflage gebunden: Übermittlung findet statt, eine Grundlage ist genannt, aber ohne Zuordnung, welcher Empfänger auf welcher Grundlage arbeitet.belegt, aber ungünstig: Übermittlung findet statt und die eigenen Unterlagen widersprechen sich, oder die genannte Grundlage bezieht sich erkennbar nur auf einen Randbereich wie die Marketing-Website.an einem kritischen Punkt offen: Übermittlung findet erkennbar statt und eine Grundlage wird nirgends genannt. | belegt, ohne Auflageim Selbstbetrieb steuerbar, hängt an den angebundenen ModellanbieternPrüfprotokolle, Zugriffsbeschränkung, Mandantentrennung und Schutzregeln im kostenpflichtigen UmfangZur QuelleDas Gateway selbst überträgt nichts in ein Drittland. Der Übertrag entsteht durch das Modell dahinter, und genau diese Auswahl lässt sich in der Konfiguration je Schlüssel und Team begrenzen.Stand 2026-07-30 |
| Training mit Kundendatenbelegt, ohne Auflage: Vertraglich oder in der Datenschutzerklärung ausdrücklich ausgeschlossen, mit Erstreckung auf die eingesetzten Modellanbieter; oder es gibt keine Datenübertragung an einen Anbieter.belegt, an eine Auflage gebunden: Ausschluss ab einem bestimmten Tarif, oder die Zusage steht nur auf einer Dokumentationsseite statt im Vertrag, oder die Frage stellt sich für das Werkzeug sachlich kaum und der Anbieter schweigt dazu.belegt, aber ungünstig: Nutzung ist die Voreinstellung und nur ein Widerspruch beendet sie; oder der Anbieter trainiert eigene Modelle auf bereinigten Kundendaten.an einem kritischen Punkt offen: Keine Aussage, obwohl das Werkzeug KI-Funktionen auf Kundeninhalten betreibt. | belegt, ohne Auflagekein Anbieterzugriff auf Inhalte im SelbstbetriebKeine Daten und keine Telemetrie beim Anbieter im Selbstbetrieb, Regionen der verwalteten Ausgabe, NachweiseZur QuelleDa die Aufrufe die eigene Umgebung nicht verlassen, stellt sich die Trainingsfrage nicht gegenüber diesem Anbieter, sondern gegenüber dem jeweiligen Modellanbieter dahinter. Das bleibt eine getrennte Prüfung je Modell.Stand 2026-07-30 |
| Aufbewahrung und Löschungbelegt, ohne Auflage: Löschfristen nach Vertragsende beziffert und die Löschung oder Rückgabe zugesagt; oder die Fristen bestimmt der Betreiber selbst, weil das Werkzeug im eigenen Betrieb läuft.belegt, an eine Auflage gebunden: Löschung ist zugesagt, die Fristen sind aber nur teilweise beziffert, oder Sicherungskopien sind ausdrücklich ausgenommen.belegt, aber ungünstig: Nur der Grundsatz der Erforderlichkeit ohne jede Frist nach Vertragsende, oder Fristen sind allein für Randbereiche wie Website-Protokolle genannt.an einem kritischen Punkt offen: Keine Aussage zu Aufbewahrung und Löschung. | belegt, ohne Auflagevom Betreiber selbst festgelegt, Ausgabenprotokolle über eine Aufbewahrungsfrist automatisch löschbarAufbewahrungsfrist für Ausgabenprotokolle ist konfigurierbarZur QuelleDie Dokumentation zeigt einen Konfigurationswert, mit dem Protokolle nach einer gesetzten Frist gelöscht werden. Die Frist bestimmt der Betreiber, nicht der Anbieter.Stand 2026-07-30 |
| Zertifikatebelegt, ohne Auflage: Mehrere anerkannte Nachweise, benannt mit Norm, Fassung und Geltungsbereich, und bezogen auf den Anbieter selbst.belegt, an eine Auflage gebunden: Ein anerkannter Nachweis für den Anbieter belegt, der Bericht aber nur auf Anfrage, oder der Nachweis hängt an einem Tarif, oder der Geltungsbereich bleibt teilweise offen.belegt, aber ungünstig: Nur pauschale Nennung ohne Norm-Fassung und Geltungsbereich, oder bloße Selbstauskunft, oder die Nachweise gehören dem Infrastrukturanbieter statt dem Anbieter, oder der Prüfzeitraum ist erkennbar veraltet, oder die eigenen Angaben widersprechen sich.an einem kritischen Punkt offen: Kein Nachweis genannt und keine Sicherheits- oder Vertrauensseite vorhanden. | belegt, aber ungünstigSOC 2 Type 2 und ISO 27001 laut Unternehmensseite, Berichte nur auf Anfrage im kostenpflichtigen TarifKostenpflichtiger Umfang, Reaktionszeiten, Nachweise, kostenfreie Anmeldung bis fünf Personen, Preis nur auf AnfrageZur QuelleDie Angaben widersprechen sich. Die Unternehmensseite nennt SOC 2 Type 2, die Dokumentationsseite spricht von SOC 2 Type I und einem Type-II-Verfahren mit einem längst verstrichenen Zieldatum. Vor einer Unterschrift gehört der tatsächliche Bericht auf den Tisch.Stand 2026-07-30 |
| EU-KI-Verordnung, Artikel 50belegt, ohne Auflage: Der Anbieter macht eine belegte Aussage, die die eigene Pflicht trägt, etwa Modelldokumentation und Zertifizierung nach ISO/IEC 42001; oder das Werkzeug enthält nachvollziehbar begründet kein KI-System im Sinne der Verordnung.belegt, an eine Auflage gebunden: Der Anbieter äußert sich zur Verordnung oder ordnet die eigene Funktion ein, eine benannte Zusage zu den Transparenzpflichten aus Artikel 50 fehlt aber; oder das Werkzeug enthält kein KI-System, das gegenüber Menschen auftritt, und der Anbieter schweigt.belegt, aber ungünstig: Das Produkt enthält KI-Funktionen, der Anbieter schweigt dazu oder trägt ein Selbstetikett ohne Nachweis; die Kennzeichnung ist vom Betreiber aber selbst setzbar.an einem kritischen Punkt offen: KI spricht im Produkt unmittelbar mit Endkunden und der Anbieter sagt zu Artikel 50 nichts; die Kennzeichnung lässt sich ohne Zusage des Anbieters nicht sicher setzen. | belegt, an eine Auflage gebundenunklarWeder Unternehmensseite noch Dokumentation äußern sich zu den Transparenzpflichten. Das Gateway ist kein Modellanbieter, die Pflicht trifft in der Regel den Betreiber der Anwendung. Nützlich ist, dass jeder Aufruf an einer Stelle protokolliert werden kann.ohne Quellenangabe · Stand 2026-07-30 |
| Protokollierungbelegt, ohne Auflage: Nachvollziehbares Protokoll über Zugriffe und Änderungen in allen Tarifen enthalten, mit benannter Frist und Ausleitung in eigene Systeme; oder die Nachvollziehbarkeit liegt vollständig in eigener Hand, weil das Werkzeug im eigenen Betrieb läuft.belegt, an eine Auflage gebunden: Protokoll vorhanden, aber an einen höheren Tarif oder einen kostenpflichtigen Zusatz gebunden, oder die Ausleitung fehlt in den unteren Stufen; Reichweite und Frist sind benannt.belegt, aber ungünstig: Protokolle sind nur anbieterseitig beschrieben, oder Reichweite und Frist bleiben offen, sodass sich Nachweispflichten nicht planen lassen.an einem kritischen Punkt offen: Öffentlich nicht belegt, ob der Kunde überhaupt ein auswertbares Protokoll erhält. | belegt, an eine Auflage gebundenAusgaben- und Nutzungsprotokolle in der freien Ausgabe, Prüfprotokolle mit Aufbewahrungsregel nur in der kostenpflichtigen AusgabePrüfprotokolle, Zugriffsbeschränkung, Mandantentrennung und Schutzregeln im kostenpflichtigen UmfangZur QuelleWer die revisionssichere Spur über Schlüsselvergabe und Rechtevergabe braucht, braucht die Lizenz. Reine Kosten- und Nutzungstransparenz gibt es ohne Lizenz.Stand 2026-07-30 |
Was es wirklich kostet
Einstieg
Der Kern ist unter MIT-Lizenz kostenlos, wird als Docker-Abbild betrieben und braucht eine eigene Postgres-Datenbank. Anmeldung über einen Verzeichnisdienst ist bis zu fünf Personen kostenfrei. Die Kosten sind zunächst reine Betriebskosten.Kostenpflichtiger Umfang, Reaktionszeiten, Nachweise, kostenfreie Anmeldung bis fünf Personen, Preis nur auf AnfrageZur Quelle
Stand 2026-07-30
Was teuer wird
An zwei Stellen. Erstens beim Übergang in die kostenpflichtige Ausgabe: Anmeldung über den Verzeichnisdienst über fünf Personen hinaus, Prüfprotokolle, Zugriffsbeschränkung nach Adressbereich und die Reaktionszeiten sind nur mit Lizenz zu haben, und der Preis dafür steht nirgends öffentlich. Zweitens beim Betrieb: Der Vorfall vom März 2026 zeigt, dass diese Schicht schnell aktualisiert werden muss. Wer das nicht als feste Routine hat, zahlt später anders.
Was es verdrängt
- Modellschlüssel verstreut über einzelne Dienste und Personen
- Anbietereigene Bibliotheken tief im Anwendungscode
- Kostenübersicht je Modellanbieter statt je Team
Schnittstellen
- OpenAI-kompatible HTTP-Schnittstelle für mehr als 100 Anbieter
- Python-Programmbibliothek
- Konfigurationsdatei und Administrationsoberfläche
- Eigene Postgres-Datenbank für Schlüssel, Budgets und Protokolle
- Protokollausleitung nach OpenTelemetry, Langfuse, Langsmith, Arize
Passende Methoden
- „Kontext: Graben oder Mauer?“-TestDer Test verlangt zu trennen, was austauschbares Fundament ist, und ein Gateway macht diese Trennung praktisch, weil das Modell darunter tauschbar bleibt und der eigene Kontext darüber liegt.
- DORA AI Capabilities Model (sieben KI-Fähigkeiten)Zu den sieben Fähigkeiten gehört eine interne Plattform, auf der KI-Nutzung gesteuert und belegt wird, und ein Gateway ist deren schmalste Ausbaustufe, weil Schlüssel, Kosten und Grenzen an einer Stelle liegen.
Quellen
- 1.Kern unter MIT-Lizenz, Verzeichnis enterprise unter gesonderter Lizenz (öffnet in neuem Tab)github.com/BerriAI/litellm/blob/main/LICENSE · Stand 2026-07-30
- 2.Kostenpflichtiger Umfang, Reaktionszeiten, Nachweise, kostenfreie Anmeldung bis fünf Personen, Preis nur auf Anfrage (öffnet in neuem Tab)litellm.ai/enterprise · Stand 2026-07-30
- 3.Keine Daten und keine Telemetrie beim Anbieter im Selbstbetrieb, Regionen der verwalteten Ausgabe, Nachweise (öffnet in neuem Tab)docs.litellm.ai/docs/data_security · Stand 2026-07-30
- 4.Prüfprotokolle, Zugriffsbeschränkung, Mandantentrennung und Schutzregeln im kostenpflichtigen Umfang (öffnet in neuem Tab)docs.litellm.ai/docs/enterprise · Stand 2026-07-30
- 5.Kompromittierte Pakete v1.82.7 und v1.82.8 am 24.03.2026, Docker-Abbilder nicht betroffen (öffnet in neuem Tab)docs.litellm.ai/blog/security-update-march-2026 · Stand 2026-07-30
- 6.Gründungsjahr, Jahrgang, Gründer, Teamgröße und Startfinanzierung (öffnet in neuem Tab)ycombinator.com/companies/litellm · Stand 2026-07-30
- 7.Aufbewahrungsfrist für Ausgabenprotokolle ist konfigurierbar (öffnet in neuem Tab)docs.litellm.ai/docs/proxy/ui_logs · Stand 2026-07-30
- 8.github.com/BerriAI/litellm (öffnet in neuem Tab)Stand 2026-07-30
Zuletzt geprüft: 2026-07-30 von Dr. Oliver Gausmann, Convios GmbH
Angaben veraltet? Schreiben Sie uns.