Lokale KI holt auf: sieben Gründe für eine eigene KI-Strategie
Die Diskussion über KI im Unternehmen dreht sich fast immer um dieselben zwei, drei Anbieter aus den USA. Dabei läuft im Hintergrund eine Entwicklung, die für mittelständische Betriebe langfristig wichtiger sein dürfte: Offene Sprachmodelle, die auf eigener Hardware laufen, holen schneller auf, als die meisten wahrnehmen. Sieben Entwicklungen, die dahinterstehen – und was daraus für eine belastbare Strategie folgt.
1. Der Abstand schmilzt messbar
Die naheliegende Annahme lautet: Was man selbst betreiben kann, ist Jahre hinter dem, was die großen Anbieter liefern. Das war einmal richtig. 2024 lag der Rückstand offener Modelle auf die jeweilige Spitze noch etwa bei einem Jahr. Auswertungen von Epoch AI, die den Abstand regelmäßig messen, sehen ihn zuletzt bei rund vier Monaten. Auf dem gebündelten Index von Artificial Analysis ist der Punkteabstand zwischen offenen und geschlossenen Modellen im Verlauf etwas mehr eines Jahres etwa auf die Hälfte zusammengeschrumpft.
Diese Zahlen schwanken mit jeder Veröffentlichung, mal sind es drei Monate, mal sechs. Der Punkt ist nicht der exakte Wert, sondern die Richtung: Aus einem Jahr wurde ein Quartal. Wer heute plant, sollte nicht mit dem Abstand von heute rechnen, sondern mit dem von übermorgen.
2. Die Kosten fallen um Größenordnungen
Der zweite Punkt ist der wirtschaftlich härteste. Der Stanford AI Index hat den Preisverfall für gleichbleibende Modellqualität nachgerechnet: Was Ende 2022 rund 20 US-Dollar je Million Token kostete, war zwei Jahre später für wenige Cent zu haben. Das ist eine Kostenreduktion um mehr als den Faktor 200 für dieselbe Leistung. Beobachter aus dem Wagniskapitalbereich beschreiben das als anhaltenden Trend in der Größenordnung eines Faktors 10 pro Jahr – schneller als seinerzeit die Entwicklung bei Prozessoren oder Bandbreiten.
Getragen wird das nicht von immer größeren Rechenzentren, sondern von Effizienz. Der algorithmische Fortschritt senkt den Rechenbedarf für gleiche Fähigkeiten fortlaufend. Architekturen wie Mixture of Experts aktivieren nur einen Bruchteil der Parameter je Anfrage. Quantisierung drückt den Speicherbedarf. Das Ergebnis sieht man auf normaler Bürohardware: Ein Notebook mit ausreichend Arbeitsspeicher fährt heute Modelle mit brauchbarer Antwortgeschwindigkeit, für die vor zwei Jahren ein Serverschrank nötig war.
3. Die Kurve zeigt weiter nach unten
Ein aktuelles Papier von Marcus Hutter und Kollegen ordnet diese Beobachtung ein. Die effektive Rechenleistung steigt demnach etwa um eine Größenordnung pro Jahr, gespeist aus zwei Quellen: Hardware und Investitionen auf der einen Seite, algorithmische Effizienz auf der anderen. Für die algorithmische Seite allein nennen die Autoren einen Faktor von drei bis sechs pro Jahr.
Rechnet man das konservativ mit dem Faktor drei durch, ergibt sich ein anschauliches Bild. Eine Fähigkeit, die heute ein großes Rechenzentrum verlangt, braucht in einem Jahr ein Drittel davon, in zwei Jahren ein Neuntel, in drei Jahren ein Siebenundzwanzigstel. Nach vier Jahren liegt sie im Bereich dessen, was ein Telefon leistet. Genau dieses Muster hat sich bereits einmal abgespielt: Modelle, die heute auf einem Notebook laufen, entsprechen in ihrer Qualität dem, was vor zwei Jahren nur über die Schnittstelle eines großen Anbieters erreichbar war.
Die Wette lautet also nicht, dass ein lokales Modell heute das stärkste Anbietermodell schlägt. Sie lautet, dass die Spitze von heute in absehbarer Zeit auf Ihrer eigenen Hardware liegt.
4. China drückt die Preise gezielt nach unten
Ein erheblicher Teil der starken offenen Modelle kommt inzwischen aus China. Die Familien um DeepSeek, Qwen und Kimi liefern regelmäßig architektonische Durchbrüche und werden längst auch an deutschen Hochschulen auf eigenen Servern betrieben.
Dahinter steht ein handfestes Interesse: Wer die Preise für offene Modelle in den Keller treibt, erhöht die Nachfrage nach Rechenkapazität – und damit nach heimischer Chip-Fertigung, deren Ausbau seit Jahren erklärtes Ziel ist. Die Wirkung ist bereits messbar. Auswertungen des Vermittlungsdienstes OpenRouter zeigen, dass ein erheblicher Teil der Anfragen aus den USA an chinesische Modelle mit offenen Gewichten weitergereicht wird.
Für Sie als Anwender ist die Motivation zweitrangig. Entscheidend ist die Folge: Es gibt dauerhaft starke Modelle, die Sie herunterladen, prüfen und auf eigener oder europäischer Hardware betreiben können, ohne von der Preispolitik eines einzelnen Anbieters abzuhängen.
5. Die Hardware kommt von selbst
Der vierte Trend läuft still im Gerätemarkt. Apple hat mit vereinheitlichtem Speicher und einer eigenen Rechenschicht für maschinelles Lernen die Voraussetzungen dafür geschaffen, dass ein normales Notebook ein ordentliches Sprachmodell trägt. Nvidia baut mit eigenen offenen Modellreihen bewusst auf lokale Ausführung hin. Bei Windows-Geräten wandern spezialisierte Recheneinheiten in die Standardausstattung.
Das heißt: Die Hardware für lokale KI wird nicht als Sonderanschaffung gekauft, sie kommt mit dem nächsten Geräteturnus ohnehin ins Haus. Wer heute Notebooks ersetzt, entscheidet nebenbei darüber, was in drei Jahren im eigenen Netz möglich ist. Ein Blick auf den Arbeitsspeicher bei der nächsten Beschaffung ist die günstigste Vorbereitung, die es gibt.
6. Die subventionierte Phase endet
Aktuell bekommen Sie in vielen Abonnements deutlich mehr Rechenleistung, als der Preis wirtschaftlich hergibt. Diese Rechnung geht für die Anbieter nicht dauerhaft auf. Spätestens wenn Wachstum durch Ertrag ersetzt werden muss, ändern sich Preise, Kontingente und Nutzungsgrenzen.
Übersetzt in Ihren Alltag: Ein Ablauf, der heute in einem Abonnement mitläuft, kann morgen ein Vielfaches kosten oder gedrosselt werden. Wer den Ablauf dann nicht auf eine Alternative umziehen kann, verhandelt aus einer schwachen Position. Ein lokal lauffähiger Rückfallweg ist deshalb weniger eine Technikentscheidung als eine kaufmännische Absicherung.
7. Abhängigkeit wird zum Geschäftsrisiko
Der Punkt, den Geschäftsführungen im deutschsprachigen Raum am schnellsten verstehen: Jede E-Mail und jedes Dokument, das ein Assistent anfasst, verlässt bei Anbietermodellen das Haus. Solange es um das Formulieren eines Serienbriefs geht, ist das verkraftbar. Sobald Angebote, Kalkulationen, Personalunterlagen oder Kundendaten durch dieselbe Leitung laufen, ist es eine Abhängigkeit in einem geschäftskritischen Prozess.
Dazu kommt die schlichte Verfügbarkeit. Ein gesperrter Zugang, eine geänderte Nutzungsbedingung, eine Störung beim Anbieter – und ein eingespielter Ablauf steht. Wer denselben Ablauf auch lokal fahren kann, hat diesen Hebel aus der Hand fremder Anbieter genommen. Wie schnell KI-Systeme dabei ihre eigenen Wege gehen, haben wir an anderer Stelle beschrieben.
Was daraus folgt: der hybride Aufbau
Aus diesen sieben Punkten folgt nicht, dass Sie Anbietermodelle abschalten sollten. Für anspruchsvolles Programmieren, lange Werkzeugketten und schwierige Analysen sind sie heute klar überlegen, und das wird noch eine Weile so bleiben. Sinnvoll ist ein zweigleisiger Aufbau.
Lokal läuft das Volumen. Zusammenfassen, klassifizieren, extrahieren, umformulieren, Stichworte vergeben, Dokumente durchsuchen: Diese Aufgaben machen den Großteil der Anfragen aus und stellen die geringsten Ansprüche. Sie kosten lokal nichts pro Anfrage und verlassen das Haus nicht.
Extern läuft die Spitze. Die schwierigen Fälle gehen an ein starkes Anbietermodell. Bewusst, benannt und mit dem Wissen, welche Inhalte dabei übertragen werden.
Die Zuordnung bleibt beweglich. Der wichtigste Punkt: Welches Modell welche Aufgabe übernimmt, muss eine Einstellung bleiben und darf nicht fest im Programmcode stehen. Sonst ist jeder Wechsel ein Projekt. Wir bauen unsere eigenen Abläufe deshalb grundsätzlich so, dass das Modell austauschbar ist – im Alltag laufen bei uns lokale und offene Modelle für Routine und starke Anbietermodelle für die Spitze nebeneinander.
Wenn Sie den Einstieg suchen: Welches Modell auf welcher Hardware tatsächlich läuft, haben wir in einem eigenen Vergleich nach Hardware-Klassen sortiert. Wie sich der Start ohne teures Abonnement organisieren lässt, steht hier.
Der ehrliche Gegencheck
Damit die Rechnung stimmt, gehören die Einwände dazu. Lokale Modelle sind langsamer als eine gut ausgebaute Schnittstelle, besonders bei langen Eingaben. Die Einrichtung ist heute noch spürbar aufwendiger als ein Abonnement, das nach fünf Minuten läuft. Der Betrieb erzeugt Arbeit: Modelle wollen aktualisiert, Speicher überwacht und Zugriffe geregelt werden. Und der Datenschutz ist mit dem eigenen Server nicht erledigt, sondern nur an eine Stelle verlagert, an der Sie ihn selbst regeln müssen.
Genau diese Einstiegshürde ist allerdings auch der Grund, warum das Feld so dünn besetzt ist. Wer es jetzt überwindet, hat einen Vorsprung, der sich mit jedem Monat verstärkt, in dem die Modelle kleiner und die Geräte stärker werden.
Interesse?
Wir richten lokale und hybride KI-Umgebungen ein: Modellauswahl passend zur vorhandenen Hardware, Anbindung an Ihre Dokumente und Postfächer, Rechteverwaltung und eine Zuordnung, die sich später ohne Umbau ändern lässt. Wenn Sie einen Ablauf im Kopf haben, der heute an einem fremden Abonnement hängt, sehen wir uns an, was davon auf eigene Hardware gehört.