# LiteLLM

> Legt eine einheitliche Schnittstelle vor viele Modellanbieter, sodass Schlüssel, Kosten, Grenzen und Protokolle an einer Stelle liegen statt verstreut in jedem Dienst, der ein Modell aufruft.

- Anbieter: Berrie AI Incorporated (BerriAI)
- Kanonische URL: https://www.convios.com/de/werkzeugkasten/litellm
- Sprachfassung: https://www.convios.com/en/toolbox/litellm
- Bereich: Governance & Sicherheit · Cluster: Modell-Gateway
- Rolle: Baustein · Herkunft: KI-nativ
- Stand: 2026-07-30 · Geprüft: 2026-07-30 · Autor: Dr. Oliver Gausmann, Convios GmbH
- Werkzeugkasten: https://www.convios.com/de/werkzeugkasten — Markdown: https://www.convios.com/de/werkzeugkasten.md

## Urteil

Verhindert Rückstand: Ein Modell-Gateway macht niemanden unterscheidbar. Wer keines hat, verliert die Übersicht über Ausgaben und Zugriffe, kann bei einem Preis- oder Qualitätssprung das Modell nicht tauschen und hat im Prüfungsfall keine Nachweise. Wer eines hat, hat damit nur den Rückstand vermieden. Der Vorsprung entsteht aus den Anwendungen darüber, nicht aus der Vermittlungsschicht.

## Eignung nach Unternehmensgröße

- Solopreneur: bedingt geeignet — Die Programmbibliothek lohnt sich sofort. Der Betrieb des Vermittlers samt eigener Datenbank, Aktualisierungen und Sicherheitspflege ist für eine Person meist mehr Aufwand, als eine einzelne Anwendung rechtfertigt.
- KMU: geeignet — Ab dem zweiten Team, das Modelle aufruft, ist der Vermittler billiger als die verstreuten Schlüssel. Selbstbetrieb kostet keine Lizenz, nur Betriebszeit, und die Zugangsdaten bleiben im Haus.
- Konzern: bedingt geeignet — Anmeldung über den Unternehmensverzeichnisdienst, Prüfprotokolle und Zugriffsschutz liegen hinter der kostenpflichtigen Ausgabe, deren Preis nicht veröffentlicht ist. Zusätzlich ist der Anbieter klein, und die Nachweise gibt es nur unter Vertrag.

## Tragfähigkeit des Anbieters

Jung: Drei Jahre am Markt, kleines Team, eine im Verhältnis zur Verbreitung sehr kleine Finanzierungsrunde. Die Verbreitung des Quellcodes ist das stärkste Signal, nicht die Bilanz des Anbieters.

- Gegründet und Jahrgang: 2023, Y Combinator Winter 2023, Gründer Krrish Dholakia und Ishaan Jaffer (Quelle: https://www.ycombinator.com/companies/litellm, Stand 2026-07-30)
- Finanzierung: 1,6 Mio. US-Dollar Startfinanzierung (Y Combinator, Gravity Fund, Pioneer Fund); höhere Summen kursieren in Datenbanken ohne Anbieterbestätigung (Quelle: https://www.ycombinator.com/companies/litellm, Stand 2026-07-30)
- Teamgröße: 10 Personen laut Selbstauskunft im Y-Combinator-Verzeichnis (Quelle: https://www.ycombinator.com/companies/litellm, Stand 2026-07-30)
- Verbreitung des Quellcodes: rund 55.100 Sterne und 10.200 Abspaltungen auf GitHub, laufende Veröffentlichungen (Quelle: https://github.com/BerriAI/litellm, Stand 2026-07-30)
- Nachweise: SOC 2 Type 2 und ISO 27001 laut Unternehmensseite; die Dokumentation nennt an anderer Stelle noch SOC 2 Type I mit laufendem Type-II-Verfahren (Quelle: https://www.litellm.ai/enterprise, Stand 2026-07-30)
- Sicherheitsvorfall: 24.03.2026: kompromittierte Pakete v1.82.7 und v1.82.8 auf PyPI mit Zugangsdaten-Dieb, rund 40 Minuten verfügbar; Docker-Abbilder und Quellcode nicht betroffen (Quelle: https://docs.litellm.ai/blog/security-update-march-2026, Stand 2026-07-30)

## Ausstiegskosten

Gering: Der Kern steht unter MIT-Lizenz und läuft auf eigener Infrastruktur. Die Schnittstelle ist zum OpenAI-Format kompatibel, die Konfiguration liegt in einer Datei, Schlüssel und Ausgabenprotokolle in einer eigenen Postgres-Datenbank. Wer aussteigt, richtet die Anwendungen wieder direkt auf die Modellanbieter und nimmt seine Daten mit. Teuer wird nur der Verzicht auf die kostenpflichtigen Funktionen, wenn man sie erst einmal hat.

## Regulatorik und Daten

| Punkt | Befund | Belegstand | Stand |
|---|---|---|---|
| Auftragsverarbeitung | beim Selbstbetrieb nicht erforderlich, für die verwaltete Cloud nicht öffentlich belegt — Im Selbstbetrieb verarbeitet der Anbieter keine Inhalte, damit entfällt die Auftragsverarbeitung. Ein öffentlich abrufbarer Vertrag zur Auftragsverarbeitung für die verwaltete Ausgabe war unter litellm.ai und docs.litellm.ai nicht auffindbar. | teilweise belegt | 2026-07-30 |
| Speicherort | eigene Infrastruktur beim Selbstbetrieb; verwaltete Ausgabe wahlweise EU-Region Frankfurt (eu-central-1) oder USA (us-west-1, us-east-1) — Der Anbieter erklärt für den Selbstbetrieb ausdrücklich, dass keine Daten und keine Telemetrie auf seinen Servern landen. Der Ort bestimmt sich damit allein durch die eigene Umgebung. | belegt | 2026-07-30 |
| Subunternehmer | beim Selbstbetrieb keine; verwaltete Ausgabe auf GCP und AWS, Datenbank teilweise über NeonDB — Eine vollständige, gepflegte Liste der Unterauftragnehmer mit Änderungsmitteilung wird nicht veröffentlicht. Genannt sind nur diese drei Namen in der Dokumentation. | teilweise belegt | 2026-07-30 |
| Drittlandübermittlung | im Selbstbetrieb steuerbar, hängt an den angebundenen Modellanbietern — Das Gateway selbst überträgt nichts in ein Drittland. Der Übertrag entsteht durch das Modell dahinter, und genau diese Auswahl lässt sich in der Konfiguration je Schlüssel und Team begrenzen. | belegt | 2026-07-30 |
| Training mit Kundendaten | kein Anbieterzugriff auf Inhalte im Selbstbetrieb — Da die Aufrufe die eigene Umgebung nicht verlassen, stellt sich die Trainingsfrage nicht gegenüber diesem Anbieter, sondern gegenüber dem jeweiligen Modellanbieter dahinter. Das bleibt eine getrennte Prüfung je Modell. | belegt | 2026-07-30 |
| Aufbewahrung und Löschung | vom Betreiber selbst festgelegt, Ausgabenprotokolle über eine Aufbewahrungsfrist automatisch löschbar — Die Dokumentation zeigt einen Konfigurationswert, mit dem Protokolle nach einer gesetzten Frist gelöscht werden. Die Frist bestimmt der Betreiber, nicht der Anbieter. | belegt | 2026-07-30 |
| Zertifikate | SOC 2 Type 2 und ISO 27001 laut Unternehmensseite, Berichte nur auf Anfrage im kostenpflichtigen Tarif — Die Angaben widersprechen sich. Die Unternehmensseite nennt SOC 2 Type 2, die Dokumentationsseite spricht von SOC 2 Type I und einem Type-II-Verfahren mit einem längst verstrichenen Zieldatum. Vor einer Unterschrift gehört der tatsächliche Bericht auf den Tisch. | teilweise belegt | 2026-07-30 |
| EU-KI-Verordnung, Artikel 50 | unklar — Weder Unternehmensseite noch Dokumentation äußern sich zu den Transparenzpflichten. Das Gateway ist kein Modellanbieter, die Pflicht trifft in der Regel den Betreiber der Anwendung. Nützlich ist, dass jeder Aufruf an einer Stelle protokolliert werden kann. | teilweise belegt | 2026-07-30 |
| Protokollierung | Ausgaben- und Nutzungsprotokolle in der freien Ausgabe, Prüfprotokolle mit Aufbewahrungsregel nur in der kostenpflichtigen Ausgabe — Wer die revisionssichere Spur über Schlüsselvergabe und Rechtevergabe braucht, braucht die Lizenz. Reine Kosten- und Nutzungstransparenz gibt es ohne Lizenz. | teilweise belegt | 2026-07-30 |

## Kosten

- Einstieg: Der Kern ist unter MIT-Lizenz kostenlos, wird als Docker-Abbild betrieben und braucht eine eigene Postgres-Datenbank. Anmeldung über einen Verzeichnisdienst ist bis zu fünf Personen kostenfrei. Die Kosten sind zunächst reine Betriebskosten. (Stand 2026-07-30)
- Teuer wird es: An zwei Stellen. Erstens beim Übergang in die kostenpflichtige Ausgabe: Anmeldung über den Verzeichnisdienst über fünf Personen hinaus, Prüfprotokolle, Zugriffsbeschränkung nach Adressbereich und die Reaktionszeiten sind nur mit Lizenz zu haben, und der Preis dafür steht nirgends öffentlich. Zweitens beim Betrieb: Der Vorfall vom März 2026 zeigt, dass diese Schicht schnell aktualisiert werden muss. Wer das nicht als feste Routine hat, zahlt später anders.

## Drei Wege im Vergleich

### Direkt beim Modellanbieter oder über dessen Cloud-Gateway

Jede Anwendung spricht das Modell direkt an, oder alles läuft über das Gateway einer großen Cloud. Der Start ist am schnellsten und die Abrechnung liegt schon im bestehenden Vertrag. Der Preis ist die Bindung: Schlüssel verstreuen sich, ein Modellwechsel wird zum Umbau, und die Ausgabenübersicht endet an der Grenze des jeweiligen Anbieters.

### Verwaltetes Gateway als Dienst

Dienste wie Portkey, OpenRouter oder Helicone liefern dieselbe Vermittlung als fertigen Zugang, ohne eigenen Betrieb. Das spart Zeit und kostet den entscheidenden Punkt: Jeder Aufruf und jedes Protokoll läuft über einen dritten Anbieter. Für Häuser mit Prüfungspflichten ist das die schwerere Auskunft, nicht die leichtere.

### Eigener dünner Vermittler vor den Anbieter-Schnittstellen

Ein Dienst von zweihundert Zeilen, der Schlüssel hält und Aufrufe weiterreicht, ist an einem Tag gebaut. Teuer wird das Danach: Ausweichrouten, Wiederholungen, Zählung der Kosten je Modell, Streaming, Werkzeugaufrufe, Anbindung neuer Anbieter. Genau dieses Danach ist der eigentliche Inhalt des Werkzeugs, und es ist quelloffen zu haben.

Empfehlung nach Größe:

- Solopreneur: Die Programmbibliothek nutzen, den Vermittler noch nicht betreiben.
- KMU: Selbst betreiben. Der freie Umfang deckt Schlüsselverwaltung, Budgets und Ausweichrouten.
- Konzern: Selbst betreiben, aber vor der Lizenz Preis, Prüfbericht und Reaktionszeiten schriftlich holen.

## Einordnung

- Setzt Methode um: [„Kontext: Graben oder Mauer?“-Test](https://www.convios.com/de/methodik/kontext-graben-oder-mauer) — Der Test verlangt zu trennen, was austauschbares Fundament ist, und ein Gateway macht diese Trennung praktisch, weil das Modell darunter tauschbar bleibt und der eigene Kontext darüber liegt.
- Setzt Methode um: [DORA AI Capabilities Model (sieben KI-Fähigkeiten)](https://www.convios.com/de/methodik/dora-ai-capabilities) — Zu den sieben Fähigkeiten gehört eine interne Plattform, auf der KI-Nutzung gesteuert und belegt wird, und ein Gateway ist deren schmalste Ausbaustufe, weil Schlüssel, Kosten und Grenzen an einer Stelle liegen.
- Verdrängt: Modellschlüssel verstreut über einzelne Dienste und Personen, Anbietereigene Bibliotheken tief im Anwendungscode, Kostenübersicht je Modellanbieter statt je Team

## Belege

- Kern unter MIT-Lizenz, Verzeichnis enterprise unter gesonderter Lizenz — https://github.com/BerriAI/litellm/blob/main/LICENSE (Stand 2026-07-30)
- Kostenpflichtiger Umfang, Reaktionszeiten, Nachweise, kostenfreie Anmeldung bis fünf Personen, Preis nur auf Anfrage — https://www.litellm.ai/enterprise (Stand 2026-07-30)
- Keine Daten und keine Telemetrie beim Anbieter im Selbstbetrieb, Regionen der verwalteten Ausgabe, Nachweise — https://docs.litellm.ai/docs/data_security (Stand 2026-07-30)
- Prüfprotokolle, Zugriffsbeschränkung, Mandantentrennung und Schutzregeln im kostenpflichtigen Umfang — https://docs.litellm.ai/docs/enterprise (Stand 2026-07-30)
- Kompromittierte Pakete v1.82.7 und v1.82.8 am 24.03.2026, Docker-Abbilder nicht betroffen — https://docs.litellm.ai/blog/security-update-march-2026 (Stand 2026-07-30)
- Gründungsjahr, Jahrgang, Gründer, Teamgröße und Startfinanzierung — https://www.ycombinator.com/companies/litellm (Stand 2026-07-30)
- Aufbewahrungsfrist für Ausgabenprotokolle ist konfigurierbar — https://docs.litellm.ai/docs/proxy/ui_logs (Stand 2026-07-30)