Prevents falling behindBuilding blockAI-native

LiteLLM

Berrie AI Incorporated (BerriAI) ·www.litellm.ai· As of: 2026-07-30

Puts one uniform interface in front of many model providers, so keys, cost, limits and logs sit in one place instead of scattered across every service that calls a model.

Work through this tool with an AI

ClaudeChatGPTPerplexity

Our verdict

A model gateway makes nobody distinguishable. Without one you lose sight of spend and access, you cannot swap a model when price or quality shifts, and you have no evidence when someone audits you. With one you have merely removed the risk of falling behind. The edge comes from the applications on top, not from the routing layer.

Evidence:As of 2026-07-30Core under MIT licence, the enterprise directory under a separate licenceOpen sourceAs of 2026-07-30Paid scope, response times, attestations, free sign-in for up to five people, price on request onlyOpen sourceAs of 2026-07-30No data and no telemetry at the vendor when self-hosted, regions of the managed edition, attestationsOpen sourceAs of 2026-07-30Audit logs, access restrictions, tenant separation and guardrails in the paid scopeOpen sourceAs of 2026-07-30Compromised packages v1.82.7 and v1.82.8 on 24 March 2026, Docker images unaffectedOpen sourceAs of 2026-07-30Founding year, cohort, founders, team size and seed fundingOpen sourceAs of 2026-07-30Retention period for spend logs is configurableOpen source

Who it fits

Solo

suitable with caveats

The library pays off immediately. Running the proxy with its own database, updates and security upkeep is usually more work than a single application justifies for one person.

Mid-market

suitable

From the second team that calls models onward, the proxy is cheaper than scattered keys. Self-hosting costs no licence, only operating time, and the credentials stay in house.

Enterprise

suitable with caveats

Directory based sign-in, audit logs and access controls sit behind the paid edition, whose price is not published. On top of that the vendor is small, and the compliance reports are only handed out under contract.

Buy, switch or build

Off-the-shelf

Straight to the model provider or through its cloud gateway

Every application talks to the model directly, or everything runs through one large cloud provider's gateway. Fastest to start, and billing already sits inside an existing contract. The price is lock-in: keys spread out, swapping a model turns into a rebuild, and the spend view stops at that provider's boundary.

AI-native

Managed gateway as a service

Services such as Portkey, OpenRouter or Helicone deliver the same routing as a ready made endpoint with nothing to operate. That saves time and costs the decisive point: every call and every log passes through a third party. For companies with audit duties that is the harder conversation, not the easier one.

Build it yourself

Your own thin proxy in front of the provider APIs

A two hundred line service that holds keys and forwards calls is built in a day. The expensive part is what follows: fallbacks, retries, per model cost accounting, streaming, tool calls, onboarding each new provider. That aftermath is precisely what the tool contains, and it is available as open source.

Our advice

  • Solo: Use the library, do not run the proxy yet.
  • Mid-market: Self-host. The free scope covers key management, budgets and fallbacks.
  • Enterprise: Self-host, but get price, audit report and response times in writing before licensing.

Who is behind it

Staying power: Young

Three years in market, a small team and a funding round that is tiny relative to how widely the software is used. Adoption of the code is the strongest signal here, not the vendor's balance sheet.

  • Founded and cohort: 2023, Y Combinator Winter 2023, founders Krrish Dholakia and Ishaan JafferAs of 2026-07-30Founding year, cohort, founders, team size and seed fundingOpen source · As of 2026-07-30
  • Funding: USD 1.6 million seed funding (Y Combinator, Gravity Fund, Pioneer Fund); higher figures circulate in databases without vendor confirmationAs of 2026-07-30Founding year, cohort, founders, team size and seed fundingOpen source · As of 2026-07-30
  • Team size: 10 people according to the company's own entry in the Y Combinator directoryAs of 2026-07-30Founding year, cohort, founders, team size and seed fundingOpen source · As of 2026-07-30
  • Code adoption: around 55,100 stars and 10,200 forks on GitHub, with releases shipping continuouslyAs of 2026-07-30github.com/BerriAI/litellmOpen source · As of 2026-07-30
  • Attestations: SOC 2 Type 2 and ISO 27001 per the company page; elsewhere the documentation still names SOC 2 Type I with a Type II process under wayAs of 2026-07-30Paid scope, response times, attestations, free sign-in for up to five people, price on request onlyOpen source · As of 2026-07-30
  • Security incident: 24.03.2026: compromised packages v1.82.7 and v1.82.8 on PyPI carrying a credential stealer, available for around 40 minutes; Docker images and source code not affectedAs of 2026-07-30Compromised packages v1.82.7 and v1.82.8 on 24 March 2026, Docker images unaffectedOpen source · As of 2026-07-30

Cost of leaving: Low

The core is MIT licensed and runs on your own infrastructure. The interface is OpenAI compatible, the configuration lives in a file, and keys and spend logs live in a Postgres database you own. Leaving means pointing the applications back at the model providers directly and taking your data with you. The only real cost is giving up the paid features once you depend on them.

Regulation and data

How to read the traffic lightHow to read the traffic lightThe traffic light rates how well a point is evidenced, not how good the tool is. It draws only on the value, note and source held in the profile. Where a statement is missing, it rates the absence, not a guess. A well-reasoned "unclear" on a point that matters little for this tool is yellow. A missing source on a point that decides whether you can use it at all is red.documented, no condition attacheddocumented, tied to a conditiondocumented, but unfavourableopen on a point that decides usability
Data processing agreementScale for this point: Data processing agreementdocumented, no condition attached: Auftragsverarbeitungsvertrag öffentlich abrufbar und ohne weitere Bedingung Bestandteil des Vertrags; oder er entfällt nachvollziehbar begründet, weil kein Anbieter Kundendaten verarbeitet.documented, tied to a condition: Vertrag existiert, ist aber an einen Tarif gebunden, nur nach Anfrage einsehbar oder allein in den Nutzungsbedingungen geregelt statt als eigenes Dokument.documented, but unfavourable: Kein Auftragsverarbeitungsvertrag im üblichen Sinn: entweder weil der Anbieter für das Kerngeschäft eigenständig Verantwortlicher ist und stattdessen eine andere Konstruktion gilt, oder weil öffentlich offen bleibt, ob überhaupt einer angeboten wird.open on a point that decides usability: Weder ein Vertrag noch ein dokumentierter Weg zu einem Vertrag; der Einkauf hätte nichts, worauf er sich stützen kann.documented, tied to a conditionnot required when self-hosted, not publicly substantiated for the managed cloudAs of 2026-07-30No data and no telemetry at the vendor when self-hosted, regions of the managed edition, attestationsOpen sourceIn self-hosted mode the vendor processes no content, so no processing agreement is needed. A publicly available data processing agreement for the managed edition could not be found on litellm.ai or docs.litellm.ai.As of 2026-07-30
Storage locationScale for this point: Storage locationdocumented, no condition attached: EU-Speicherort ohne Zusatzkosten und ohne Tarifbindung, oder der Ort ist vollständig selbst bestimmbar, weil das Werkzeug im eigenen Betrieb läuft.documented, tied to a condition: EU-Speicherort möglich, aber an einen Tarif, einen gesondert zu aktivierenden Zusatz oder einen Umzug in eine getrennte Umgebung gebunden; oder die EU-Region ist nicht die Voreinstellung.documented, but unfavourable: Kein EU-Speicherort, der Ort ist aber eindeutig benannt, sodass die Folgen bewertbar sind.open on a point that decides usability: Der Speicherort ist öffentlich nicht benannt oder vom Kunden nicht steuerbar, sodass sich die Verarbeitung nicht verorten lässt.documented, no condition attachedyour own infrastructure when self-hosted; managed edition either in the EU region Frankfurt (eu-central-1) or in the USA (us-west-1, us-east-1)As of 2026-07-30No data and no telemetry at the vendor when self-hosted, regions of the managed edition, attestationsOpen sourceFor self-hosting the vendor states explicitly that no data and no telemetry reach its servers. The location is therefore determined solely by your own environment.As of 2026-07-30
SubprocessorsScale for this point: Subprocessorsdocumented, no condition attached: Vollständige öffentliche Liste der Unterauftragnehmer mit Zweck und Land; oder es gibt keine, weil das Werkzeug im eigenen Betrieb läuft.documented, tied to a condition: Liste existiert und ist benannt, aber nur nach Anfrage oder nach Zugang zu einem Vertrauensportal einsehbar, oder sie nennt Zweck und Land nicht vollständig.documented, but unfavourable: Keine geführte Liste; namentlich stehen nur einzelne Dienste in der Datenschutzerklärung, überwiegend solche der eigenen Website.open on a point that decides usability: Weder eine Liste noch eine Nennung der Verarbeiter des Produkts, und kein dokumentierter Weg, sie zu erfahren.documented, tied to a conditionnone when self-hosted; the managed edition runs on GCP and AWS, with the database partly on NeonDBAs of 2026-07-30No data and no telemetry at the vendor when self-hosted, regions of the managed edition, attestationsOpen sourceNo complete, maintained subprocessor list with change notification is published. Only these three names appear in the documentation.As of 2026-07-30
Third-country transferScale for this point: Third-country transferdocumented, no condition attached: Keine Übermittlung in ein Drittland, oder die Übermittlung findet statt und die Grundlage ist benannt und im Vertrag verankert, etwa Standardvertragsklauseln, Angemessenheitsbeschluss oder EU-US-Datenschutzrahmen.documented, tied to a condition: Übermittlung findet statt, eine Grundlage ist genannt, aber ohne Zuordnung, welcher Empfänger auf welcher Grundlage arbeitet.documented, but unfavourable: Übermittlung findet statt und die eigenen Unterlagen widersprechen sich, oder die genannte Grundlage bezieht sich erkennbar nur auf einen Randbereich wie die Marketing-Website.open on a point that decides usability: Übermittlung findet erkennbar statt und eine Grundlage wird nirgends genannt.documented, no condition attachedcontrollable when self-hosted, depends on the model providers connectedAs of 2026-07-30Audit logs, access restrictions, tenant separation and guardrails in the paid scopeOpen sourceThe gateway itself transfers nothing to a third country. The transfer arises from the model behind it, and that selection can be restricted per key and per team in the configuration.As of 2026-07-30
Training on customer dataScale for this point: Training on customer datadocumented, no condition attached: Vertraglich oder in der Datenschutzerklärung ausdrücklich ausgeschlossen, mit Erstreckung auf die eingesetzten Modellanbieter; oder es gibt keine Datenübertragung an einen Anbieter.documented, tied to a condition: Ausschluss ab einem bestimmten Tarif, oder die Zusage steht nur auf einer Dokumentationsseite statt im Vertrag, oder die Frage stellt sich für das Werkzeug sachlich kaum und der Anbieter schweigt dazu.documented, but unfavourable: Nutzung ist die Voreinstellung und nur ein Widerspruch beendet sie; oder der Anbieter trainiert eigene Modelle auf bereinigten Kundendaten.open on a point that decides usability: Keine Aussage, obwohl das Werkzeug KI-Funktionen auf Kundeninhalten betreibt.documented, no condition attachedno vendor access to content when self-hostedAs of 2026-07-30No data and no telemetry at the vendor when self-hosted, regions of the managed edition, attestationsOpen sourceBecause the calls never leave your own environment, the training question does not arise against this vendor but against whichever model provider sits behind it. That stays a separate check per model.As of 2026-07-30
Retention and deletionScale for this point: Retention and deletiondocumented, no condition attached: Löschfristen nach Vertragsende beziffert und die Löschung oder Rückgabe zugesagt; oder die Fristen bestimmt der Betreiber selbst, weil das Werkzeug im eigenen Betrieb läuft.documented, tied to a condition: Löschung ist zugesagt, die Fristen sind aber nur teilweise beziffert, oder Sicherungskopien sind ausdrücklich ausgenommen.documented, but unfavourable: Nur der Grundsatz der Erforderlichkeit ohne jede Frist nach Vertragsende, oder Fristen sind allein für Randbereiche wie Website-Protokolle genannt.open on a point that decides usability: Keine Aussage zu Aufbewahrung und Löschung.documented, no condition attachedset by the operator itself, spend logs deletable automatically via a retention periodAs of 2026-07-30Retention period for spend logs is configurableOpen sourceThe documentation shows a configuration value that deletes logs after a set period. The operator sets that period, not the vendor.As of 2026-07-30
CertificationsScale for this point: Certificationsdocumented, no condition attached: Mehrere anerkannte Nachweise, benannt mit Norm, Fassung und Geltungsbereich, und bezogen auf den Anbieter selbst.documented, tied to a condition: Ein anerkannter Nachweis für den Anbieter belegt, der Bericht aber nur auf Anfrage, oder der Nachweis hängt an einem Tarif, oder der Geltungsbereich bleibt teilweise offen.documented, but unfavourable: Nur pauschale Nennung ohne Norm-Fassung und Geltungsbereich, oder bloße Selbstauskunft, oder die Nachweise gehören dem Infrastrukturanbieter statt dem Anbieter, oder der Prüfzeitraum ist erkennbar veraltet, oder die eigenen Angaben widersprechen sich.open on a point that decides usability: Kein Nachweis genannt und keine Sicherheits- oder Vertrauensseite vorhanden.documented, but unfavourableSOC 2 Type 2 and ISO 27001 per the company page, reports only on request on the paid planAs of 2026-07-30Paid scope, response times, attestations, free sign-in for up to five people, price on request onlyOpen sourceThe statements contradict each other. The company page names SOC 2 Type 2, while the documentation page still says SOC 2 Type I with a Type II process whose target date has long passed. Ask for the actual report before signing.As of 2026-07-30
EU AI Act, Article 50Scale for this point: EU AI Act, Article 50documented, no condition attached: Der Anbieter macht eine belegte Aussage, die die eigene Pflicht trägt, etwa Modelldokumentation und Zertifizierung nach ISO/IEC 42001; oder das Werkzeug enthält nachvollziehbar begründet kein KI-System im Sinne der Verordnung.documented, tied to a condition: Der Anbieter äußert sich zur Verordnung oder ordnet die eigene Funktion ein, eine benannte Zusage zu den Transparenzpflichten aus Artikel 50 fehlt aber; oder das Werkzeug enthält kein KI-System, das gegenüber Menschen auftritt, und der Anbieter schweigt.documented, but unfavourable: Das Produkt enthält KI-Funktionen, der Anbieter schweigt dazu oder trägt ein Selbstetikett ohne Nachweis; die Kennzeichnung ist vom Betreiber aber selbst setzbar.open on a point that decides usability: KI spricht im Produkt unmittelbar mit Endkunden und der Anbieter sagt zu Artikel 50 nichts; die Kennzeichnung lässt sich ohne Zusage des Anbieters nicht sicher setzen.documented, tied to a conditionunclearNeither the company page nor the documentation addresses the transparency duties. The gateway is not a model provider, so the duty usually falls on whoever operates the application. What helps is that every call can be logged in one place.no source given · As of 2026-07-30
Audit loggingScale for this point: Audit loggingdocumented, no condition attached: Nachvollziehbares Protokoll über Zugriffe und Änderungen in allen Tarifen enthalten, mit benannter Frist und Ausleitung in eigene Systeme; oder die Nachvollziehbarkeit liegt vollständig in eigener Hand, weil das Werkzeug im eigenen Betrieb läuft.documented, tied to a condition: Protokoll vorhanden, aber an einen höheren Tarif oder einen kostenpflichtigen Zusatz gebunden, oder die Ausleitung fehlt in den unteren Stufen; Reichweite und Frist sind benannt.documented, but unfavourable: Protokolle sind nur anbieterseitig beschrieben, oder Reichweite und Frist bleiben offen, sodass sich Nachweispflichten nicht planen lassen.open on a point that decides usability: Öffentlich nicht belegt, ob der Kunde überhaupt ein auswertbares Protokoll erhält.documented, tied to a conditionspend and usage logs in the free edition, audit logs with a retention rule only in the paid editionAs of 2026-07-30Audit logs, access restrictions, tenant separation and guardrails in the paid scopeOpen sourceAnyone who needs an auditable trail over key issuance and permission changes needs the licence. Plain cost and usage transparency comes without one.As of 2026-07-30

What it really costs

Entry price

The core is free under the MIT licence, runs as a Docker image and needs a Postgres database of your own. Directory based sign-in is free for up to five people. At first the only cost is running it.As of 2026-07-30Paid scope, response times, attestations, free sign-in for up to five people, price on request onlyOpen source

As of 2026-07-30

What gets expensive

In two places. First at the step into the paid edition: directory based sign-in beyond five people, audit logs, IP based access limits and the response times only come with a licence, and its price is published nowhere. Second in operations: the March 2026 incident shows this layer has to be patched fast. Anyone without that as a fixed routine pays for it in another currency later.

What it displaces

  • Model keys scattered across individual services and people
  • Vendor specific libraries buried in application code
  • Cost visibility per model provider instead of per team

Interfaces

  • OpenAI-compatible HTTP API for more than 100 providers
  • Python library
  • Configuration file and admin interface
  • Your own Postgres database for keys, budgets and logs
  • Log export to OpenTelemetry, Langfuse, Langsmith, Arize

Matching methods

  • "Context: Moat or Wall?" TestThe test demands a separation of what is interchangeable foundation, and a gateway makes that separation practical, because the model underneath stays swappable while your own context sits above it.
  • DORA AI Capabilities Model (Seven AI Capabilities)An internal platform for governing and evidencing AI use is one of the seven capabilities, and a gateway is its narrowest form, because keys, cost and limits all sit in one place.

Sources

  1. 1.Core under MIT licence, the enterprise directory under a separate licence (opens in a new tab)github.com/BerriAI/litellm/blob/main/LICENSE · As of 2026-07-30
  2. 2.Paid scope, response times, attestations, free sign-in for up to five people, price on request only (opens in a new tab)litellm.ai/enterprise · As of 2026-07-30
  3. 3.No data and no telemetry at the vendor when self-hosted, regions of the managed edition, attestations (opens in a new tab)docs.litellm.ai/docs/data_security · As of 2026-07-30
  4. 4.Audit logs, access restrictions, tenant separation and guardrails in the paid scope (opens in a new tab)docs.litellm.ai/docs/enterprise · As of 2026-07-30
  5. 5.Compromised packages v1.82.7 and v1.82.8 on 24 March 2026, Docker images unaffected (opens in a new tab)docs.litellm.ai/blog/security-update-march-2026 · As of 2026-07-30
  6. 6.Founding year, cohort, founders, team size and seed funding (opens in a new tab)ycombinator.com/companies/litellm · As of 2026-07-30
  7. 7.Retention period for spend logs is configurable (opens in a new tab)docs.litellm.ai/docs/proxy/ui_logs · As of 2026-07-30
  8. 8.github.com/BerriAI/litellm (opens in a new tab)As of 2026-07-30

Last reviewed: 2026-07-30 by Dr. Oliver Gausmann, Convios GmbH

Details out of date? Let us know.

← Back to the toolbox