15 KI-Frameworks, die Ihre Strategie bestimmen

43% der deutschen Mittelständler haben keine KI-Strategie¹. Das ergibt der KI-Index Mittelstand 2026, eine Befragung von 526 Unternehmen. Gleichzeitig setzen 36% der Firmen bereits KI ein². Die KI-Frameworks, die Geschäftsführer im Mittelstand kennen müssen, beantworten vier Fragen: Wo stehen wir? Was müssen wir tun? Welche Technik passt? Und wer hilft uns dabei?

Vier Entscheidungen, 15 Frameworks. Sortiert nach Dringlichkeit, nicht nach Alphabet.

Wo stehen wir eigentlich?

Ein CTO eines Kunststoffverarbeiters, 220 Mitarbeiter, wollte seinem Geschäftsführer einen KI-Fahrplan vorstellen. Das Problem: Er hatte keinen Startpunkt. „Ich weiß, was wir technisch können. Ich weiß nicht, wie weit die anderen sind."

Die Antwort liegt in drei Benchmarks, die frei verfügbar sind.

Die Bitkom KI-Studie 2025 ist der umfassendste Datensatz für den deutschen Markt. 604 Unternehmen ab 20 Beschäftigten, repräsentativ befragt². Die Kernzahlen: 36% nutzen KI (2024: 20%), 47% planen oder diskutieren den Einsatz, 81% sehen KI als wichtigste Zukunftstechnologie. Aber: 53% nennen rechtliche Unsicherheit als größtes Hemmnis, 43% bieten keine KI-Schulung an. Der CTO konnte damit zeigen, wo sein Unternehmen im Vergleich steht. Kostenlos unter bitkom-research.de.

Für eine tiefere Einordnung hilft das Gartner AI Maturity Model. Fünf Stufen, sieben Dimensionen (Strategie, Produkte, Governance, Engineering, Daten, Betriebsmodell, Kultur). Gartner hat 432 Unternehmen in sechs Ländern befragt³. Das ernüchternde Ergebnis: Die meisten Organisationen stecken auf Stufe 1 (Awareness) oder Stufe 2 (Active). Nur 6% erreichen die Stufe „Transformational". Organisationen mit hoher Reife halten KI-Projekte zu 45% drei Jahre oder länger operativ, bei niedriger Reife sind es 20%³. Und 91% der reifen Organisationen haben eine dedizierte KI-Führungsrolle eingerichtet. Vollständiger Zugang erfordert ein Gartner-Abonnement, die Kernzahlen sind öffentlich.

Die McKinsey State of AI 2025 Studie ergänzt das Bild mit globalen Benchmarks⁴. 1.993 Befragte, 105 Länder. 88% der Organisationen nutzen KI. Nur 6% qualifizieren sich als „AI High Performers" mit mehr als 5% EBIT-Beitrag durch KI. Was diese 6% anders machen: Sie redesignen Workflows (3,6-mal häufiger als der Rest), ihre Geschäftsführung treibt KI persönlich, und sie investieren über 20% des Digital-Budgets in KI⁴. Die wichtigste Zahl für den Mittelstand: 51% aller befragten Firmen berichten von KI-bedingten Vorfällen (Datenlecks, fehlerhafte Ergebnisse, Compliance-Probleme). Kostenlos unter mckinsey.com.

Der CTO hat die drei Studien in eine Folie gepackt: „Wir sind Stufe 2 von 5 bei Gartner. Wir liegen bei den 43% ohne Strategie laut Salesforce. Und wir investieren 2% unseres IT-Budgets in KI, während die Top-Performer bei 20% liegen." Der Geschäftsführer hat den Fahrplan genehmigt.

Was ist Pflicht, was ist Kür?

Die Leiterin Qualitätsmanagement eines Medizintechnik-Zulieferers, 180 Mitarbeiter, hatte eine klare Frage: „Mein Geschäftsführer fragt, was wir bis August 2026 erledigt haben müssen. Nicht was wir sollten. Was wir müssen."

Das EU AI Act Risikoklassifizierungssystem ist das einzige Framework auf dieser Liste, das gesetzlich bindend ist. Vier Stufen: Verboten, Hochrisiko, Begrenztes Risiko, Minimales Risiko⁵. Die Einstufung bestimmt, welche Pflichten gelten. Für die Medizintechnikerin war die Antwort unangenehm: KI in Medizinprodukten fällt fast immer unter Hochrisiko. CE-Kennzeichnung, Konformitätsbewertung, technische Dokumentation, menschliche Aufsicht. Frist: August 2026, verlängert bis August 2027 für KI in regulierten Produkten (Medizinprodukte, Maschinen) durch das Digital Omnibus Package⁵. Bußgelder bei Verstößen gegen verbotene Praktiken: bis zu 35 Millionen Euro oder 7% des globalen Jahresumsatzes⁵.

ISO/IEC 42001 beantwortet die Frage „Wie weisen wir nach, dass wir es richtig machen?" Der weltweit erste zertifizierbare Standard für KI-Managementsysteme, veröffentlicht im Dezember 2023⁶. Plan-Do-Check-Act, ähnlich wie ISO 27001 für Informationssicherheit. KPMG International hat die Zertifizierung im Dezember 2025 als erster Big-Four-Konzern erhalten⁶. Microsoft hat sie für M365 Copilot. TÜV SÜD, BSI und SGS bieten die Zertifizierung in Deutschland an. Wer bereits nach ISO 27001 zertifiziert ist, kann erhebliche Synergien nutzen, weil sich 40 bis 60% der Anforderungen überschneiden (Schätzung). Der Standard selbst kostet ca. 400 Euro als PDF. Ein Zertifizierungsaudit liegt bei 10.000 bis 50.000 Euro je nach Unternehmensgröße (Schätzung).

Das NIST AI Risk Management Framework ist ein freies, freiwilliges Governance-Gerüst aus den USA mit vier Funktionen: Govern, Map, Measure, Manage⁷. NIST hat Querverweise zu ISO 42001 und den OECD AI-Prinzipien veröffentlicht, was es als strukturiertes Inhaltsverzeichnis für die eigene Governance brauchbar macht. Microsoft nutzt den Govern-Map-Measure-Manage-Zyklus intern⁸. Alle Dokumente, Playbooks und Profile sind kostenlos unter nist.gov verfügbar.

Gartner AI TRiSM (Trust, Risk and Security Management) vereint KI-Governance, Laufzeitüberwachung und Datensicherheit in einem Schichtmodell⁹. Gartner prognostiziert, dass 80% der nicht autorisierten KI-Transaktionen durch interne Richtlinienverstöße verursacht werden, nicht durch externe Angriffe⁹. Das ist ein wichtiger Punkt für die QM-Leiterin: Das größte Risiko sitzt im Haus. Vollständige Forschung erfordert ein Gartner-Abonnement.

Die OECD AI Principles bilden den normativen Rahmen unter dem EU AI Act. Fünf Wertprinzipien (inklusives Wachstum, Menschenrechte, Transparenz, Robustheit, Verantwortlichkeit), verabschiedet 2019, aktualisiert Mai 2024¹⁰. 47 Regierungen haben sich angeschlossen. Die Definition von „KI-System" aus den OECD-Prinzipien ist identisch mit der im EU AI Act. Kostenlos unter oecd.ai.

Die QM-Leiterin hat eine Reihenfolge festgelegt: Erst EU AI Act Risikoklassifizierung (Pflicht), dann ISO 42001 als Nachweisrahmen, NIST als kostenloses Governance-Gerüst für die interne Umsetzung.

Welche Technik brauchen wir?

Ein IT-Leiter eines Logistik-Unternehmens, 340 Mitarbeiter, hatte ein konkretes Problem. Drei verschiedene KI-Anbieter hatten Angebote abgegeben. Jeder empfahl eine andere Architektur. „Ich brauche kein drittes Tool-Pitch. Ich brauche ein Framework, mit dem ich die Angebote vergleichen kann."

Die wichtigste Architekturentscheidung 2026 betrifft Schnittstellen. MCP (Model Context Protocol) verbindet KI-Systeme mit Datenquellen und Werkzeugen¹¹. Open Source, seit März 2026 unter der Linux Foundation, unterstützt von Anthropic, OpenAI, Google, Microsoft und Amazon. 97 Millionen SDK-Downloads pro Monat (Stand März 2026)¹¹. Wer bei jedem KI-Anbieter fragt „Unterstützen Sie MCP?", filtert in 30 Sekunden Vendor Lock-in aus. A2A (Agent-to-Agent Protocol) ergänzt MCP vertikal: Während MCP Agenten mit Werkzeugen verbindet, verbindet A2A Agenten miteinander¹². Entwickelt von Google, unterstützt von über 150 Organisationen, darunter SAP und ServiceNow.

Für den Zugriff auf firmeneigenes Wissen ist RAG (Retrieval-Augmented Generation) das Standardmuster¹³. KI durchsucht Ihre Dokumente, bevor sie antwortet. 2026 entwickelt sich RAG weiter zu „Agentic RAG", bei dem KI-Agenten eigenständig mehrstufige Suchstrategien planen. Jede größere Cloud-Plattform bietet RAG-Werkzeuge an (Azure AI Search, AWS Bedrock, Google Vertex AI). Für den IT-Leiter war die Frage: Welche Plattform passt zu unserer bestehenden Infrastruktur? Bei einem Microsoft-Haus: Azure. Bei AWS-Bestandskunden: Bedrock. Bei Datenschutzbedenken: Open-Source-RAG mit lokaler Vektordatenbank.

LangChain/LangGraph ist das meistgenutzte Open-Source-Framework für KI-Anwendungen und -Agenten¹⁴. 90 Millionen Downloads pro Monat, eingesetzt von 35% der Fortune-500-Unternehmen¹⁴. Anbieterunabhängig, MIT-lizenziert. Wenn Ihr Entwicklungsteam KI-Anwendungen baut, wird es LangChain mit hoher Wahrscheinlichkeit einsetzen. Für den IT-Leiter als Nicht-Entwickler war die relevante Information: LangChain bedeutet kein Vendor Lock-in und funktioniert mit jedem KI-Anbieter.

Die operative Disziplin hinter produktiven KI-Systemen heißt MLOps/LLMOps¹⁵. Monitoring, Kostentracking, Qualitätskontrolle, Halluzinationserkennung. Gartner prognostiziert, dass über 50% der generativen KI-Deployments bis Ende 2026 scheitern werden, weil operative Praktiken fehlen¹⁵. Der Markt wird auf 1,8 Milliarden Dollar geschätzt (2025), mit Wachstum auf 5,4 Milliarden bis 2030¹⁵. Ohne MLOps ist KI ein Demo. Mit MLOps ist KI ein Produktivsystem.

Der IT-Leiter hat sein Bewertungsraster auf vier Fragen reduziert: Unterstützt der Anbieter MCP? Basiert die Architektur auf RAG? Ist LangChain oder ein gleichwertiges Framework im Einsatz? Gibt es ein MLOps-Konzept für den Betrieb? Zwei der drei Angebote fielen nach diesen Fragen raus.

Wo bekomme ich Hilfe, die nichts kostet?

Eine Geschäftsführerin eines Handwerksbetriebs mit 65 Mitarbeitern sagte mir: „Berater kosten 1.500 Euro am Tag. Mein KI-Budget für dieses Jahr liegt bei 15.000 Euro. Ich kann mir zehn Beratertage kaufen oder etwas Echtes bauen."

Die Antwort: Es gibt mehr kostenlose Unterstützung, als die meisten Geschäftsführer wissen.

BMWK Mittelstand-Digital betreibt bis zu 29 Zentren in ganz Deutschland, die kostenlose, anbieterneutrale KI-Beratung anbieten¹⁶. Rund 100 KI-Trainer besuchen Unternehmen direkt vor Ort. Das Programm „Digital Jetzt" hat einen 3,3-fachen Hebeleffekt nachgewiesen: 134 Millionen Euro öffentliche Investition erzeugten 447 Millionen Euro Umsatzsteigerung bei den geförderten Unternehmen¹⁶. Das Netzwerk läuft bis Ende 2026, ein Nachfolgeprogramm ist ab 2027 geplant. Einstieg unter mittelstand-digital.de.

Die KfW hat im Juli 2025 den ERP-Förderkredit Digitalisierung gestartet¹⁷. Drei Stufen, bis zu 25 Millionen Euro pro Projekt, mit 3 bis 5% Zuschuss (maximal 200.000 Euro). Die KfW-Daten zeigen: 20% aller Mittelstandsunternehmen nutzen KI, bei Firmen ab 50 Beschäftigten sind es 36%¹⁷. Der Deutschlandfonds (Dezember 2025) stellt 30 Milliarden Euro an öffentlichen Garantien bereit, um 130 Milliarden Euro an privaten Investitionen zu mobilisieren.

Die Plattform Lernende Systeme wird von acatech getragen, mit rund 200 Experten aus Wissenschaft und Wirtschaft¹⁸. Ihre Publikation „KI im Mittelstand" liefert konkrete Fallstudien und Implementierungsfahrpläne. Das 2025er Impulspapier zum „Kulturwandel" adressiert die organisatorische Seite der KI-Einführung. Alles kostenlos unter plattform-lernende-systeme.de.

Seit Februar 2026 betreibt die Bundesnetzagentur einen kostenlosen KI-Service Desk speziell für KMU¹⁹. Die Behörde ist nach dem KI-MIG die zentrale Marktüberwachungsbehörde für den EU AI Act in Deutschland. Der Service Desk beantwortet Fragen zur Einstufung von KI-Systemen, zu Pflichten und zu regulatorischen Sandkästen. Ab August 2026 muss jedes EU-Mitgliedsland mindestens eine regulatorische Sandbox bereitstellen, in der Unternehmen KI-Systeme unter Aufsicht testen können⁵.

Die Geschäftsführerin hat bei Mittelstand-Digital angefangen. Ein KI-Trainer kam für zwei Tage. Kostenpunkt: null Euro. Das Ergebnis: ein konkreter Anwendungsfall (KI-gestützte Auftragserfassung), ein Umsetzungsplan und eine KfW-Fördermittelanfrage.

Wo stehen Sie? Der KI-Reifegrad-Check

15 Fragen, fünf Minuten. Der KI-Reifegrad-Check ordnet Ihr Unternehmen in eine von vier Phasen ein und zeigt, welche Frameworks Sie als nächstes brauchen.

Meine Einordnung

Was mich überrascht hat: Die meisten Geschäftsführer kennen ISO 27001, aber von ISO 42001 hat fast niemand gehört. Das wird sich ändern, wenn die ersten Ausschreibungen „ISO 42001-Nachweis" verlangen. Bei einem Automobilzulieferer habe ich das vor zwei Monaten erlebt. Der OEM hatte die Frage in seine Lieferantenbewertung aufgenommen. Mein Zulieferer-Kontakt wusste nicht, was er ankreuzen soll.

Von den 15 Frameworks auf dieser Liste sind vier für den Mittelstand akut: EU AI Act Risikoklassifizierung, weil es Gesetz ist. Die Bitkom-Studie, weil sie den ehrlichen Benchmark liefert. BMWK Mittelstand-Digital, weil es kostenlos ist und funktioniert. Und MCP, weil eine falsche Schnittstellenentscheidung heute drei Jahre Vendor Lock-in bedeutet.

Welche KI-Begriffe Sie brauchen, um die Frameworks zu verstehen, steht im KI-Begriffe-Artikel für Geschäftsführer. Wie Sie KI konkret monetarisieren und den ROI für Ihre Gesellschafter berechnen, beschreibe ich im nächsten Teil dieser Serie.

Quellen

Sie haben Fragen zu diesem Thema?