25 KI-Begriffe, die Geschäftsführer 2026 kennen müssen

Fünf Gespräche mit fünf verschiedenen Personen. 25 Begriffe. Ein Ziel: dass Sie nach dem Lesen mitreden können, wenn Ihr IT-Leiter, Ihr Steuerberater oder Ihr Gesellschafter über KI spricht. 36% der deutschen Unternehmen setzen KI ein, fast doppelt so viele wie ein Jahr zuvor¹. Die wichtigsten KI-Begriffe für Geschäftsführer im Mittelstand haben sich dabei komplett verschoben. Was 2024 noch nach Forschungslabor klang, steht 2026 auf jeder Vorstandsagenda.

Jeder dieser Begriffe kam mir in einem konkreten Gespräch unter. Kein Lexikon, kein Alphabet. Fünf Situationen aus dem Mittelstand, wie ich sie regelmäßig erlebe.

„Mein IT-Leiter will 80.000 Euro für eine Wissensplattform. Ich verstehe kein Wort im Angebot."

Ein befreundeter Geschäftsführer aus dem Maschinenbau, 280 Mitarbeiter, schob mir vor ein paar Wochen ein Angebot über den Tisch. Drei Seiten, voll mit Abkürzungen. „RAG-basierte Wissensplattform auf Basis eines Foundation Models mit reduziertem Halluzinationsrisiko." Er tippte auf den Absatz mit den Kosten und fragte: „Soll ich das unterschreiben? Mein IT-Leiter sagt, die Konkurrenz hat sowas schon."

Die Antwort hängt davon ab, ob man versteht, was da steht. Wir sind das Angebot Zeile für Zeile durchgegangen.

Foundation Model ist der Oberbegriff für die großen KI-Systeme, die Firmen wie OpenAI, Google, Anthropic oder Meta entwickeln. GPT-4, Gemini, Claude, Llama. Sie werden auf riesigen Textmengen trainiert und können danach Texte schreiben, übersetzen, Code erzeugen, Fragen beantworten. Das Training kostet dreistellige Millionenbeträge². Die Nutzung kostet Bruchteile davon.

LLM (Large Language Model) ist die technische Bezeichnung für die Untergruppe dieser Modelle, die Sprache verarbeitet. ChatGPT basiert auf einem LLM. Claude basiert auf einem LLM. Wenn Ihr IT-Leiter von „LLM" spricht, meint er die Technologie hinter dem Chatfenster. „Und was genau kaufe ich für die 80.000?", fragte der Maschinenbauer. Berechtigte Frage.

Ein LLM kennt die Welt. Es kennt Ihr Unternehmen nicht. Es weiß, was ein Drehmoment ist. Es kennt nicht die Wartungshistorie Ihrer Fräsmaschine. Genau da setzt RAG (Retrieval-Augmented Generation) an. Bevor das LLM antwortet, durchsucht ein Zwischenschritt Ihre firmeneigenen Dokumente, Handbücher, Protokolle, Ticketsysteme. Die gefundenen Informationen werden dem LLM als Kontext mitgegeben. Das LLM antwortet dann auf Basis Ihres Wissens, ergänzt um sein allgemeines Sprachverständnis. Wie ein neuer Mitarbeiter, der erst die Akten liest und dann antwortet.

Das funktioniert. In 80% der Fälle. Die restlichen 20% sind das, was die Branche Halluzination nennt. Das LLM erfindet Dinge. Zuversichtlich, grammatisch korrekt, inhaltlich falsch. Kein Bug, den man fixt. Eine Eigenschaft der Technologie. Der Maschinenbauer wurde hellhörig: „Was, wenn das System einem Kunden eine falsche Garantiefrist nennt?" Genau. Die Quote liegt je nach Aufgabe bei 5 bis 20%³. Für einen Chatbot, der Kunden Wartungsintervalle nennt, muss das aktiv gemanagt werden.

Was kostet der Spaß? Die Abrechnung läuft über Tokens. Ein Token ist ungefähr ein Dreiviertel-Wort. Jede Frage an das System kostet Eingabe-Tokens (Ihre Frage plus die aus RAG geladenen Dokumente), jede Antwort kostet Ausgabe-Tokens. Ein typisches Gespräch mit Kontext verbraucht 2.000 bis 10.000 Tokens. Das Context Window bestimmt, wie viel Text das Modell gleichzeitig verarbeiten kann. GPT-4o verarbeitet bis zu 128.000 Tokens, das entspricht etwa einem 300-Seiten-Buch. Größeres Context Window bedeutet bessere Antworten, höhere Kosten pro Anfrage.

Der Maschinenbauer hat das Angebot unterschrieben. Aber erst, nachdem er verstanden hatte, wofür. Und nachdem er den Passus streichen ließ, der eine automatische Verlängerung um drei Jahre enthielt.

„Die Rechnung von OpenAI hat sich verdreifacht. Kann mir jemand erklären, warum?"

Die Finanzleiterin eines Automobilzulieferers, 120 Mitarbeiter, rief mich an einem Dienstagmorgen an. Sie hatte die Monatsabrechnung für ChatGPT Enterprise vor sich. Im Januar 2.400 Euro. Im März 7.800 Euro. Gleiche Nutzerzahl, 40 Lizenzen. „Ich habe dreimal nachgerechnet", sagte sie. „Die Zahlen stimmen. Ich verstehe nur nicht, wofür."

Der Grund heißt Inference Cost. Training ist teuer, aber einmalig. Inference, die tatsächliche Nutzung des trainierten Modells, läuft dagegen permanent. Die Kosten pro Abfrage sind winzig, summieren sich aber. Der Stanford HAI AI Index 2025 hat gemessen, dass die Inferenzkosten für GPT-3.5-Leistung zwischen November 2022 und Oktober 2024 um den Faktor 280 gefallen sind². Von 20 Dollar pro Million Tokens auf 7 Cent. Klingt günstig. Die Finanzleiterin sah das anders.

Beim gemeinsamen Blick in die Nutzungsdaten wurde klar, was passiert war. Zwei Abteilungen hatten angefangen, Reasoning Models einzusetzen. Das sind LLMs einer neueren Generation (OpenAIs o1, o3, DeepSeeks R1), die vor der Antwort intern „nachdenken". Sie zerlegen komplexe Probleme in Zwischenschritte, prüfen Annahmen, revidieren sich selbst. Die Einkaufsabteilung nutzte sie für Vertragsanalysen, die Entwicklung für technische Berechnungen. Die Ergebnisse waren besser. Die Kosten lagen beim 10- bis 74-fachen einer Standardabfrage⁴, weil das Modell intern viel mehr Tokens generiert. Die Finanzleiterin wusste das nicht, weil niemand ihr gesagt hatte, dass es verschiedene Modellklassen gibt.

Ihre nächste Frage: „Gibt es günstigere Alternativen?" Ja. Die Entscheidung zwischen Open-Weight-Modellen und geschlossenen Modellen ist eine der wichtigsten Weichenstellungen. Open-Weight-Modelle wie Metas Llama 4 oder DeepSeek R1 können heruntergeladen und auf eigener Infrastruktur betrieben werden. Geschlossene Modelle wie GPT-5 oder Claude laufen nur über die API des Anbieters. Die Leistungslücke schrumpft rapide, von 8% auf 1,7% Unterschied in einem Jahr².

Der dritte Weg, den wir besprochen haben: Small Language Models (SLMs). Kompakte Modelle mit ein bis zehn Milliarden Parametern, die auf einem einzigen Bürorechner laufen. Microsofts Phi-4, Googles Gemma, Metas Llama 3.2 in kleinen Varianten. Für spezialisierte Aufgaben, Vertriebs-E-Mails klassifizieren, Wartungsprotokolle zusammenfassen, sind sie oft genauso gut wie die großen Modelle. Und kosten 75 bis 95% weniger.

Die Finanzleiterin fragte zum Schluss: „Müssen wir das Modell dann auf uns trainieren?" Kommt drauf an. Fine-Tuning heißt, das Modell tatsächlich auf Ihren eigenen Daten nachzutrainieren. Prompting heißt, dem Modell durch geschickte Anweisungen beizubringen, was Sie wollen. Die Faustregel, die ich ihr gegeben habe: Prompting reicht für 90% der Anwendungsfälle im Mittelstand. Fine-Tuning lohnt sich erst, wenn Sie tausende gleichartige Aufgaben automatisieren und die Qualität mit Prompting nicht ausreicht.

Sie hat sich für ein Pilotprojekt mit einem SLM entschieden. Auf eigenem Server. Die OpenAI-Rechnung sinkt gerade.

„Frau Berger aus dem Vertrieb hat mit ChatGPT eine Kundendatenbank gebaut. Was machen wir jetzt?"

Eine Vertriebsleiterin eines Handelsunternehmens, 90 Mitarbeiter, erzählte mir das beim Mittagessen. Eine ihrer Mitarbeiterinnen, Frau Berger (Name geändert), hatte auf eigene Initiative Kundenfeedback in ChatGPT kopiert, sich Muster analysieren lassen und die Ergebnisse in ein selbstgebautes Google Sheet exportiert. „Das Ergebnis ist beeindruckend", sagte die Vertriebsleiterin. „Aber unser Datenschutzbeauftragter dreht durch."

Frau Berger hatte Shadow AI betrieben. In 42% der deutschen Unternehmen nutzen Mitarbeiter private KI-Tools im Job⁵. In 8% der Fälle ist das weit verbreitet, in 17% gibt es Einzelfälle, weitere 17% vermuten es nur. Private ChatGPT-Accounts, in die Kundendaten, Vertragsentwürfe und Finanzzahlen fließen. Ohne IT-Freigabe, ohne Datenschutzprüfung.

Frau Berger hatte noch etwas getan. Sie hatte mit einem KI-Tool namens Cursor ein kleines Dashboard gebaut, das die Analyse automatisch aktualisiert. Ohne eine Zeile Code selbst zu schreiben. Vibe Coding heißt das: Mitarbeiter ohne Programmierkenntnisse bauen mit KI-Unterstützung funktionierende Software. Die Vertriebsleiterin war beeindruckt und besorgt gleichzeitig. „Das Tool funktioniert. Aber wo laufen die Daten? Wer wartet den Code, wenn Frau Berger krank wird? Und wer haftet, wenn Kundendaten raussickern?"

Wir haben dann besprochen, wie der offizielle Weg aussieht. Der bekannteste Typ KI-Assistent ist der AI Copilot: KI, die direkt in bestehende Software eingebaut ist. Microsoft 365 Copilot in Word und Outlook, GitHub Copilot für Entwickler, Salesforce Einstein für den Vertrieb. Copiloten verändern keine Workflows. Sie beschleunigen bestehende. Bei etwa 30 Euro pro Nutzer und Monat ist das oft der schnellste Weg zu messbarer Produktivität. Und der Datenschutzbeauftragte kann nachts schlafen.

Die nächste Stufe heißt Agentic AI. Während ein Copilot auf Ihre Eingabe wartet, handelt ein KI-Agent eigenständig. Er bekommt ein Ziel, zerlegt es in Schritte, greift auf verschiedene Systeme zu, prüft Zwischenergebnisse und liefert am Ende ein Resultat. Was Frau Berger manuell gemacht hat, Kundenfeedback lesen, Muster erkennen, Ergebnis exportieren, könnte ein Agent automatisiert erledigen. Innerhalb der IT-Infrastruktur des Unternehmens. Laut dem Salesforce KI-Index Mittelstand 2026 hat sich der Anteil von Unternehmen, die KI-Agenten einsetzen, innerhalb eines Jahres fast verdoppelt⁶.

Agenten arbeiten selten allein. Die meisten produktiven Systeme sind Compound AI Systems, Verbünde aus mehreren spezialisierten Komponenten. Das System, das Frau Bergers Arbeit ersetzen könnte, bestünde vielleicht aus einem RAG-Modul für Produktwissen, einem Agenten für Feedback-Analyse und einem Regelwerk, das bestimmt, welche Ergebnisse an wen gehen. Die Komponenten kommunizieren über standardisierte Schnittstellen.

Die Vertriebsleiterin hat Frau Berger nicht gerügt. Sie hat sie zur KI-Beauftragten für den Vertrieb gemacht. Mit einem offiziellen Tool, einem Budget und klaren Regeln.

„Der Aufsichtsrat fragt, warum wir mehr in KI investieren, obwohl KI billiger wird."

Ein Vorstand eines mittelständischen Industrieunternehmens, 450 Mitarbeiter, bereitete sich auf eine Beiratssitzung vor. Er hatte im Vorjahr ein KI-Budget von 180.000 Euro genehmigt bekommen. Jetzt brauchte er 320.000 Euro. Sein Problem: „Überall lese ich, dass KI billiger wird. Mein Beirat wird fragen, warum die Rechnung steigt."

Wir haben den Abend damit verbracht, zwei Konzepte durchzuarbeiten, die das erklären.

Die Red Queen Hypothesis stammt aus der Evolutionsbiologie. Benannt nach der Roten Königin in Alice im Wunderland, die sagt: „Hierzulande musst du so schnell rennen, wie du kannst, wenn du am gleichen Fleck bleiben willst." Auf KI übertragen: Wenn alle Ihre Wettbewerber KI einsetzen, macht Sie der eigene KI-Einsatz nicht besser. Er verhindert, dass Sie schlechter werden⁷. Die Investition erzeugt keinen sichtbaren Vorsprung. Sie erzeugt den Erhalt Ihrer Wettbewerbsposition.

Der Vorstand nickte. „Das verstehe ich. Aber warum kostet es mehr?"

Hier kommt das Jevons Paradox ins Spiel. Der englische Ökonom William Stanley Jevons beobachtete 1865, dass effizientere Dampfmaschinen den Kohleverbrauch nicht senkten. Sie steigerten ihn, weil Kohle durch die Effizienz für viel mehr Anwendungen wirtschaftlich wurde⁸. Zhang und Zhang haben im Januar 2026 formal nachgewiesen, dass derselbe Mechanismus in der KI-Industrie wirkt: Fallende Inferenzpreise führen dazu, dass Unternehmen ihre KI-Architekturen neu entwerfen, tiefere Verarbeitungsketten einbauen und am Ende mehr Rechenleistung verbrauchen⁷. Sein Unternehmen hatte genau das getan. Gestartet mit einem Chatbot für den Kundenservice. Dann KI-gestützte Qualitätskontrolle. Dann automatisierte Angebotsberechnung. Jede einzelne Anwendung günstiger als im Vorjahr. In Summe: 78% mehr Verbrauch.

„Und was antworte ich dem Beirat auf die Frage nach dem ROI?"

Hier wird es differenziert. Unternehmen, die eigene Daten generieren, profitieren vom Data Flywheel⁷. Wer ein KI-System einsetzt und Nutzungsdaten sammelt, verbessert damit das System, was mehr Nutzer anzieht, was mehr Daten generiert. Wer früh startet, baut einen Datenvorteil auf, den Nachzügler schwer einholen.

Was passiert, wenn der Kreislauf kippt? Model Collapse beschreibt das Szenario, in dem KI-Modelle zunehmend auf KI-generierten Inhalten trainiert werden und dadurch an Qualität verlieren⁹. Die originalen, menschlich erstellten Daten des Industrieunternehmens, Wartungsprotokolle, Konstruktionszeichnungen, Kundenkorrespondenz, werden wertvoller, je mehr KI-generierter Content die Welt überflutet.

„Unsere Marketingabteilung hat letzte Woche vier Blogartikel mit KI geschrieben", sagte der Vorstand. „Die waren alle... irgendwie gleich." Das ist AI Slop: massenhaft produzierte KI-Inhalte ohne Substanz¹⁰. Angebote, die generisch klingen. Marketingtexte, die sich wie von einer Maschine anfühlen. Wenn Ihr Vertrieb AI Slop verschickt, merkt der Empfänger das.

Die Marginal Cost of Intelligence, die Grenzkosten für eine „intelligente" Antwort, nähern sich null². Was früher eine Stunde Beraterzeit kostete, kostet heute 7 Cent an Token-Gebühren. Wenn die Erzeugung von Wissen billig wird, wird die Bewertung von Wissen teuer. Die Mitarbeiter, die beurteilen können, ob eine KI-Antwort stimmt, werden wertvoller als die, die sie erzeugen.

Ethan Mollick von der Wharton School hat in einer Studie mit BCG dafür den Begriff Centaur Worker geprägt¹¹: jemand, der genau weiß, wann er die KI arbeiten lässt und wann er selbst übernimmt. Der Vorstand hat das in seiner Beiratspräsentation verwendet. „Wir investieren nicht in KI. Wir investieren in Centaur Workers." Der Beirat hat das Budget freigegeben.

„Unsere Anwältin sagt, wir brauchen bis August ein KI-Verzeichnis. Stimmt das?"

Der Geschäftsführer eines Medizintechnik-Unternehmens, 160 Mitarbeiter, hatte gerade ein Schreiben seiner externen Anwältin bekommen. Vier Seiten, mit markierten Fristen. Er rief an und sagte: „Ich lese hier ‚AI Literacy Pflicht seit Februar 2025'. Wir haben nichts gemacht. Wie schlimm ist das?"

Die Antwort: Es ist ernst, aber lösbar. Seit dem 2. Februar 2025 gilt die Pflicht zur AI Literacy für jedes Unternehmen, das KI einsetzt¹². Artikel 4 des EU AI Acts verlangt, dass Anbieter und Anwender von KI-Systemen Maßnahmen ergreifen, um ein „angemessenes Niveau an KI-Kompetenz" bei ihren Mitarbeitern sicherzustellen. Das gilt unabhängig von der Risikoklasse des Systems. Auch ein Unternehmen, das nur Microsoft Copilot nutzt, fällt darunter. Die Durchsetzung beginnt am 2. August 2026 durch nationale Behörden¹². In Deutschland wird die Bundesnetzagentur diese Aufgabe übernehmen, geregelt durch das KI-MIG (KI-Marktüberwachungs- und Innovationsförderungsgesetz), das die Bundesregierung am 11. Februar 2026 beschlossen hat¹³.

„Und was genau müssen wir bis August tun?"

Der AI Act klassifiziert KI-Systeme in vier Risikoklassen: Verboten (Social Scoring, unterschwellige Manipulation), Hochrisiko (KI in der Personalauswahl, Kreditvergabe, kritischer Infrastruktur), Begrenztes Risiko (Transparenzpflichten, etwa Kennzeichnung von Deepfakes) und Minimales Risiko (Chatbots für allgemeine Anfragen, die meisten KI-Anwendungen im Mittelstand). Medizintechnik ist ein Sonderfall: KI in Medizinprodukten fällt fast immer unter Hochrisiko.

Der erste Schritt, den die Anwältin gemeint hatte, ist tatsächlich ein KI-Inventar: eine vollständige Übersicht aller KI-Systeme im Unternehmen. Dazu gehören auch KI-Funktionen in eingekaufter Software. Das CRM hat eine KI-gestützte Lead-Bewertung? Gehört ins Inventar. Die Buchhaltungssoftware nutzt KI für Rechnungserkennung? Gehört ins Inventar. Der Geschäftsführer war überrascht: „Wir nutzen KI?" Ja. In mindestens sieben Systemen, wie sich herausstellte.

Für Hochrisiko-Systeme wird ab August 2026 die Konformitätsbewertung Pflicht¹⁴. Zum ersten Mal gilt die CE-Kennzeichnung für Software. Der Prozess umfasst Risikomanagementsystem, technische Dokumentation, Datenqualitätsprüfung und menschliche Aufsichtsmechanismen. Er dauert drei bis sechs Monate. Bei einem Medizintechnik-Unternehmen mit bestehender MDR-Erfahrung lässt sich einiges übertragen.

Für Hochrisiko-Anwendungen verlangt der AI Act Explainable AI (XAI): KI-Entscheidungen müssen für die aufsichtführende Person nachvollziehbar sein¹⁴. Wenn ein KI-gestütztes Diagnosesystem eine Empfehlung ausspricht, muss dokumentiert sein, auf welcher Grundlage.

Das übergeordnete Thema heißt AI Governance: das interne Regelwerk für den KI-Einsatz im Unternehmen. Wer darf welche KI-Tools einsetzen? Wie werden Ergebnisse geprüft? Wer haftet, wenn etwas schiefgeht?

Bevor der Geschäftsführer auflegte, hatte er noch eine praktische Frage: „Unser neuer KI-Anbieter will uns an sein System binden. Kann ich das vermeiden?" Ja. MCP (Model Context Protocol) ist ein offener Standard von Anthropic, seit März 2026 unter der Verwaltung der Linux Foundation, mit dem KI-Systeme sich mit Datenquellen und Werkzeugen verbinden¹⁵. OpenAI, Google, Microsoft und Amazon unterstützen ihn alle. Wer heute einen KI-Anbieter auswählt, sollte fragen: „Unterstützen Sie MCP?" Wenn nein, droht Vendor Lock-in. A2A (Agent-to-Agent Protocol) ergänzt MCP: Während MCP Agenten mit Werkzeugen verbindet, verbindet A2A Agenten miteinander¹⁶. Entwickelt von Google, unterstützt von über 150 Organisationen, darunter SAP.

Der Geschäftsführer hat drei Dinge getan: KI-Inventar gestartet, AI-Literacy-Schulung beauftragt, MCP-Kompatibilität in die Vendor-Anforderungen aufgenommen. Vier Monate vor der Frist.

Alle 25 Begriffe auf einen Blick

Meine Einordnung

Mir fällt auf, wie oft sich Leute für ihre Wissenslücken entschuldigen. Die Finanzleiterin, die sich schämte, weil sie „Inference Cost" nicht kannte. Der Vorstand, der „Jevons Paradox" nachschlagen musste. Frau Berger, die dachte, sie hätte etwas Verbotenes getan. „Ich müsste das eigentlich wissen." Nein, müssen Sie nicht. Die Begriffe ändern sich schneller als jede Weiterbildung nachkommt.

Was Sie können müssen: die richtigen Fragen stellen. Und erkennen, wenn jemand mit Fachvokabular eine schlechte Investition verkauft.

Von den 25 Begriffen hier sind fünf wirklich dringend. AI Literacy, weil die Pflicht seit Februar 2025 gilt und die meisten Unternehmen nichts getan haben. KI-Inventar, weil es der erste Schritt für alles Weitere ist. Shadow AI, weil es in Ihrem Unternehmen bereits passiert. Inference Cost, weil es Ihre nächste Budgetdiskussion bestimmt. Und die Red Queen, weil sie erklärt, warum Abwarten keine Option ist.

Quellen

Sie haben Fragen zu diesem Thema?