Lokale und offene KI-Modelle: sieben Entwicklungen, die kaum jemand auf dem Schirm hat
Die meisten Unternehmen setzen ihre KI-Strategie auf einen einzigen Anbieter. Das ist verständlich und im Moment auch bequem. Gleichzeitig laufen im Hintergrund sieben Entwicklungen, die diese Rechnung in den nächsten Jahren verschieben werden. Keine davon hat mit Datenschutz zu tun, dem Argument, das in dieser Diskussion sonst zuerst kommt. Es geht um Abstände, Kosten und darum, wer den Zugang in der Hand hält.
1. Der Abstand ist auf Monate geschrumpft
Das Forschungsinstitut Epoch AI misst regelmäßig, wie weit die besten frei herunterladbaren Modelle hinter den besten geschlossenen Modellen liegen. Für den Zeitraum Januar bis Mai 2026 kommt die Auswertung auf durchschnittlich vier Monate Rückstand, was etwa acht Punkten im hauseigenen Fähigkeitsindex entspricht. Zum Vergleich: 2024 lag derselbe Abstand noch bei rund einem Jahr.
Zur Ehrlichkeit gehört die Gegenprobe. Für den Zeitraum 2023 bis Oktober 2025 hatte dasselbe Institut drei Monate gemessen, der Abstand ist zuletzt also eher leicht gewachsen. Und der Stanford AI Index sieht das Spitzenmodell im März 2026 um 3,3 Prozentpunkte vor dem besten offenen Modell, gegenüber 0,5 Punkten im August 2024. Je nach Maßstab schrumpft der Abstand also nicht monoton.
Die praktische Konsequenz bleibt trotzdem dieselbe. Ein Rückstand von wenigen Monaten ist für einen Ticket-Klassifizierer, eine Zusammenfassung oder eine Übersetzung schlicht nicht spürbar. Für eine schwierige, neuartige Aufgabe mit Haftungsrisiko kann er den Ausschlag geben. Die Frage ist nicht mehr, ob offene Modelle gut genug sind, sondern wofür.
2. Der Preis für gleiche Qualität fällt um eine Größenordnung pro Jahr
Die Wagniskapitalgesellschaft a16z hat für diesen Effekt den Begriff LLMflation geprägt: Für ein Modell gleicher Leistung sinken die Kosten um etwa den Faktor zehn pro Jahr. Das ist schneller als der Preisverfall bei Rechenleistung in der PC-Ära und schneller als bei Bandbreite in der Dotcom-Zeit.
Die Zahlen dahinter sind ungewöhnlich deutlich. Als GPT-3 Ende 2021 öffentlich verfügbar wurde, kostete die damalige Qualitätsstufe rund 60 US-Dollar je Million Token. Drei Jahre später war dieselbe Stufe für etwa sechs Cent zu haben, ein Faktor von rund 1.000. Für die GPT-4-Klasse ging es von rund 30 US-Dollar je Million Eingabetoken im März 2023 auf unter 50 Cent im Jahr 2026. Epoch AI kommt bei eigener Messung je nach Aufgabe auf Werte zwischen dem Neunfachen und dem Neunhundertfachen pro Jahr, im Mittel rund das Fünfzigfache.
Wichtig ist die Leseart: Es fällt nicht der Preis der Spitze, sondern der Preis für eine feste Qualitätsstufe. Die Spitze kostet weiter Geld. Aber die Spitze von vorgestern ist heute fast umsonst zu haben. Und genau diese Stufe reicht für den größten Teil der Arbeit in einem Unternehmen.
3. Dieselbe Fähigkeit braucht jedes Jahr weniger Rechenleistung
Im Juni 2026 hat ein Team von Google DeepMind rund um Shane Legg und Marcus Hutter die Arbeit From AGI to ASI veröffentlicht. Für die Frage nach lokaler KI ist ein einzelner Abschnitt daraus der interessanteste: die Zerlegung der sogenannten effektiven Rechenleistung in drei Faktoren.
Erstens die Hardware selbst, die seit sechs Jahrzehnten etwa das Anderthalbfache an Rechenleistung pro Dollar und Jahr liefert. Zweitens die Investitionen in Rechenhardware, die im letzten Jahrzehnt um rund das Zweieinhalbfache pro Jahr gewachsen sind. Beides zusammen ergibt etwa das Vierfache an Trainingsrechenleistung pro Jahr. Der dritte Faktor ist der entscheidende: Die algorithmische Effizienz, also der Rechenaufwand für ein festes Leistungsniveau, verbessert sich um etwa das Dreifache pro Jahr.
Rechnet man diesen Faktor nur konservativ fort, ergibt sich eine unbequeme Aussage für jeden, der heute Infrastruktur plant. Eine Fähigkeit, die heute ein Rechenzentrum verlangt, braucht in einem Jahr ein Drittel davon, in zwei Jahren ein Neuntel, in vier Jahren ein Einundachtzigstel. Aus dem Rechenzentrum wird die Workstation, aus der Workstation das Notebook. Genau dieser Verlauf ist in den letzten drei Jahren bereits eingetreten, und es gibt keinen erkennbaren Grund, warum er abrupt enden sollte.
4. Offene Gewichte tragen inzwischen die Mehrheit der Tokens
Das ist die Zahl, die in Deutschland am wenigsten bekannt ist. Auf dem Vermittlungsdienst OpenRouter, über den Entwickler Anfragen an hunderte Modelle verteilen, hielten US-Anbieter im Juni 2025 noch rund 70 Prozent des Tokenvolumens. Ein Jahr später sind es rund 30 Prozent. Den größten Einzelanteil hält inzwischen DeepSeek mit etwa 16 Prozent, vor Google, Anthropic und OpenAI.
Ein zweiter Datenpunkt aus einer anderen Quelle zeigt dasselbe Muster. Im Produktionsindex des Vercel AI Gateway stieg der Anteil offener Modelle am Tokenvolumen von 11 Prozent im April 2026 auf 29 Prozent im Juni. Bemerkenswert ist das Verhältnis: Offene Modelle wickeln knapp ein Drittel des Volumens ab, verursachen aber weniger als vier Prozent der Ausgaben.
Beide Zahlen messen nur einen Ausschnitt des Marktes und sagen nichts über Umsatz oder über die Qualität einzelner Antworten. Sie sagen aber etwas über die tatsächliche Entscheidung von Entwicklern, wenn niemand zusieht: Für Massenarbeit wird genommen, was ausreicht und wenig kostet. Nach Angaben von OpenRouter liegen die chinesischen offenen Modelle 60 bis 90 Prozent unter den Preisen der führenden US-Anbieter.
Für europäische Unternehmen ist dabei die Unterscheidung wichtig, die in der Diskussion oft untergeht: Ein offenes Modell aus China lässt sich auf einem Server in Deutschland betreiben. Dann verlassen die Daten weder das Haus noch die EU. Wer dagegen die Schnittstelle des chinesischen Anbieters direkt aufruft, hat einen ganz anderen Sachverhalt vor sich.
5. Es läuft heute schon auf normaler Hardware
Zwei Entwicklungen der letzten beiden Jahre haben das möglich gemacht. Mixture-of-Experts-Architekturen aktivieren pro Anfrage nur einen Bruchteil der Parameter, sodass die laufenden Kosten an den aktiven Teil gekoppelt sind statt an die Gesamtgröße. Und Quantisierung senkt den Speicherbedarf drastisch, ohne die Qualität in dem Maß zu senken, das man erwarten würde.
Das Ergebnis ist ein Notebook mit ausreichend Arbeitsspeicher, auf dem ein Modell mit brauchbarem Tempo läuft und Aufgaben erledigt, für die vor zwei Jahren ein Serverzugang nötig war. Epoch AI hat den Zusammenhang gemessen und kommt zu dem Schluss, dass Spitzenleistung typischerweise innerhalb von etwa einem Jahr auf Verbraucherhardware ankommt. Der Trend zu vereinheitlichtem Speicher in aktuellen Notebook-Prozessoren beschleunigt das zusätzlich.
6. Die heutigen Preise sind nicht die Preise von morgen
Dieser Punkt ist eine These, kein Messwert, und sollte auch so gelesen werden. Die Beobachtung dahinter ist trotzdem schwer zu bestreiten: Ein Pauschaltarif, mit dem sich ein Vielfaches des Preises an Rechenleistung abrufen lässt, ist auf Dauer keine tragfähige Kalkulation. Irgendwann wird jeder Anbieter die Konditionen an die tatsächlichen Kosten heranführen, durch Preisanpassung, durch Begrenzung oder durch beides.
Man muss das nicht als Vorwurf formulieren. Es ist die normale Reihenfolge in jungen Märkten: erst Verbreitung, dann Ertrag. Entscheidend ist nur, was das für einen Prozess bedeutet, der fest an diesem Tarif hängt. Wer seine Kalkulation auf die Konditionen von heute gebaut hat, sollte durchrechnen, was passiert, wenn sie sich verdoppeln oder wenn ein Kontingent eingeführt wird.
7. Zugang ist kein Naturgesetz
Der letzte Punkt ist der unbequemste, weil er nichts mit Technik zu tun hat. Wenn ein KI-Agent Ihre E-Mails liest, Ihre Angebote vorbereitet oder Ihre Dokumente durchsucht, verlassen diese Inhalte bei jedem Aufruf das Haus. Das ist eine Datenschutzfrage, aber vor allem eine Verfügbarkeitsfrage.
Im Jahr 2026 ist das keine Theorie mehr. Mehrere Spitzenmodelle waren zeitweise nur eingeschränkt oder regional begrenzt zugänglich, teils wegen Ausfuhrbestimmungen, teils wegen anbieterseitiger Beschränkungen. Für ein Unternehmen, dessen Angebotsprozess an einem einzigen Modell hängt, ist das kein Randthema, sondern ein Betriebsrisiko wie ein Ausfall der Telefonanlage.
Der Punkt ist nicht, dass man auf Spitzenmodelle verzichten sollte. Der Punkt ist, dass ein Prozess einen zweiten Weg haben muss, wenn der erste ausfällt. Genau diesen zweiten Weg liefern offene Modelle: Die Gewichte liegen vor, sie lassen sich betreiben, und niemand kann sie zurückziehen.
Was daraus für Ihr Unternehmen folgt
Die Schlussfolgerung ist nicht, alles auf eigene Hardware zu holen. Sie ist zweigleisig.
Sortieren Sie Ihre Aufgaben nach Schwierigkeit. Zusammenfassen, klassifizieren, extrahieren, übersetzen, formatieren: Das ist der größte Teil des Volumens und braucht kein Spitzenmodell. Schwierige Analysen, Programmierung über mehrere Schritte, alles mit rechtlicher Tragweite: Da bleibt die Spitze vorerst gesetzt.
Halten Sie das Modell austauschbar. Wenn der Modellname an genau einer Stelle in der Konfiguration steht, ist ein Wechsel eine Zeile Arbeit. Wenn er über dreißig Automatisierungen verteilt ist, ist er ein Projekt. Das ist die einfachste Vorsorge überhaupt, und sie kostet nur Disziplin beim Bauen.
Rechnen Sie mit Auslastung, nicht mit Listenpreisen. Eigene Hardware rechnet sich bei durchgehender Last und selten bei zwei Stunden Betrieb am Tag. Der zweite Grund für eigenen Betrieb ist nicht der Preis, sondern die Planbarkeit.
Fangen Sie mit einem echten Prozess an. Nicht mit einer Testumgebung, sondern mit einer Aufgabe, die heute wirklich anfällt und deren Ergebnis sich prüfen lässt. Alles andere bleibt Demonstration.
Wir arbeiten selbst so. Wiederkehrende Aufgaben in unseren Automatisierungen laufen über offene Modelle, die Spitzenmodelle kommen dort zum Einsatz, wo sie den Unterschied machen. Für die tägliche Auswertung von Meldungen, das Sortieren von Eingängen oder das Aufbereiten von Texten braucht es kein Spitzenmodell.
Interesse?
Wenn Sie wissen wollen, welche Ihrer Abläufe sich mit offenen Modellen abbilden lassen und wo die Spitze wirklich nötig ist, schauen wir uns das gemeinsam an. Wir bauen die Schicht darum herum: Datenzugriff, Rechte, Protokollierung und Betrieb. Ohne die ist ein Modell nur ein Modell.