KI auf dem eigenen Gerät 2026: Was auf welcher Hardware wirklich läuft

Vor einem Jahr war lokale KI eine Bastelei für Leute mit einer großen Grafikkarte. Inzwischen laufen Modelle mit dreißig Milliarden Parametern auf gut ausgestatteten Notebooks, eine vollständige Sprachausgabe passt in weniger als zehn Millionen Parameter, und Belegerkennung braucht keine Wolke mehr. Dieser Beitrag beantwortet die eine Frage, die alle stellen: Was läuft auf dem Gerät, das bei mir tatsächlich auf dem Tisch steht?

Drei Dinge haben sich 2026 geändert

Vereinter Speicher ist im Alltag angekommen. Bei Geräten mit vereintem Speicher teilen sich Hauptprozessor und Grafikeinheit denselben Arbeitsspeicher. Das klingt technisch, hat aber eine sehr praktische Folge: Ein Notebook mit 64 Gigabyte kann ein Modell laden, für das man vorher zwei teure Grafikkarten gebraucht hätte. Apple macht das seit Jahren so, AMD hat mit den größeren Ausbaustufen seiner mobilen Prozessoren nachgezogen. Der Preis dafür ist Tempo: Der Speicher ist langsamer als der einer dedizierten Karte, die Antwort tröpfelt eher, als dass sie herausschießt.

Die Modelle sind sparsamer geworden. Dieselbe Antwortqualität braucht Jahr für Jahr weniger Rechenaufwand. Was 2025 ein Rechenzentrum verlangte, läuft 2026 auf einem gut ausgestatteten Arbeitsplatzrechner. Diese Kurve hat mit besseren Trainingsverfahren zu tun und nicht mit schnellerer Hardware – sie wirkt deshalb auch auf Geräten, die Sie längst besitzen.

Sprache ist winzig geworden. Der spektakulärste Sprung des Jahres ist nicht bei den großen Modellen passiert, sondern bei den kleinen. Eine brauchbare Sprachausgabe passt heute in eine Datei von wenigen Dutzend Megabyte. Spracherkennung läuft flüssig auf einem Notebook ohne jede Sonderausstattung. Damit sind Diktat, Vorlesen und Telefonnotizen lokal möglich – also genau die Dinge, bei denen bisher jeder Satz an einen fremden Server ging.

Sechs Geräteklassen, sechs ehrliche Antworten

Welches konkrete Modell in welcher Fassung dazu passt, haben wir in unserem Vergleich lokaler Modelle und Hardware aufgeschlüsselt. Warum sich der Aufbau überhaupt lohnt, steht in der Übersicht zur lokalen KI-Strategie.

Der Speicher entscheidet, nicht die Rechenleistung

Das ist der eine Satz, der beim Gerätekauf zählt. Ein Modell muss vollständig in den schnellen Speicher passen. Passt es nicht, lagert das Betriebssystem Teile auf die Festplatte aus, und die Geschwindigkeit bricht nicht um zwanzig Prozent ein, sondern um den Faktor zehn oder mehr. Der Unterschied zwischen brauchbar und unbenutzbar ist selten die Rechenleistung, fast immer der Speicher.

Als Faustregel gilt: Speicherbedarf entspricht der Größe der Modelldatei plus zwei bis vier Gigabyte für den Betrieb. Dazu kommt der Gesprächsverlauf, der ebenfalls im Speicher liegt. Wer ein langes Dokument in einem Stück verarbeiten lässt, braucht dafür noch einmal mehrere Gigabyte obendrauf – ein Punkt, den fast alle Empfehlungslisten unterschlagen.

Die Modelldateien werden komprimiert ausgeliefert, damit sie überhaupt hineinpassen. In moderatem Umfang ist das unproblematisch. Wird zu stark komprimiert, fällt die Qualität sichtbar ab, und zwar zuerst dort, wo mehrere Schritte aufeinander aufbauen: Rechnen, Programmieren, sauberes Befolgen von Anweisungen. Ein spürbar schlechteres Ergebnis liegt oft nicht am Modell, sondern an der gewählten Fassung.

Nicht nur Text: was sonst noch lokal läuft

Diktat und Vorlesen. Spracherkennung läuft auf jedem halbwegs aktuellen Notebook, Sprachausgabe braucht kaum Ressourcen. Damit lassen sich Besprechungsnotizen, Diktate und Telefonnotizen erfassen, ohne dass ein Wort das Haus verlässt. Für Betriebe mit Schweigepflicht ist das der eigentliche Grund, lokal zu arbeiten.

Belege und Dokumente auslesen. Texterkennung samt Zuordnung der Felder – Rechnungsnummer, Betrag, Datum, Steuersatz – funktioniert lokal in guter Qualität. Das ist die Anwendung mit dem klarsten Ertrag, weil sie täglich anfällt und immer gleich abläuft.

Suche über die eigenen Unterlagen. Kleine Zusatzmodelle wandeln Texte in vergleichbare Zahlenreihen um. Damit findet man Dokumente nach Bedeutung statt nach Stichwort, und zwar über den kompletten eigenen Bestand, ohne ihn irgendwo hochzuladen.

Bilder ansehen und beschreiben. Modelle, die Bilder auswerten, laufen inzwischen ebenfalls lokal: Zählen, Zustand beschreiben, Beschriftungen ablesen. Für Dokumentation auf der Baustelle oder im Lager ist das der Anfang von etwas Nützlichem.

Wo lokale Modelle weiterhin verlieren

Der ehrliche Gegencheck gehört dazu, sonst kauft jemand ein Gerät für die falsche Erwartung.

Sehr lange Gedankenketten bleiben Sache der großen Modelle. Aufgaben, bei denen zwanzig Schritte aufeinander aufbauen und jeder Fehler den Rest verdirbt, gelingen lokal deutlich seltener. Aktuelles Weltwissen fehlt ohnehin, weil das Modell den Stand seines Trainings hat und sonst nichts – wer Aktuelles braucht, muss ihm eine Quelle danebenstellen. Sehr große Textmengen auf einmal sprengen den Speicher. Und wer Bilder erzeugen will, merkt schnell, dass der Abstand zu den großen Diensten dort größer ist als beim Text.

Deshalb ist der übliche Aufbau gemischt: lokal, was vertraulich ist oder täglich anfällt. Außer Haus, was selten und anspruchsvoll ist. Diese Aufteilung ist keine Übergangslösung, sondern der Zielzustand.

Strom, Wärme, Lärm

Ein Punkt, den Empfehlungslisten regelmäßig auslassen: Ein Arbeitsplatzrechner, der ein großes Modell rechnet, zieht unter Last ein Vielfaches seines Ruhebedarfs, wird warm und wird laut. In einem Büro mit zwei Schreibtischen ist das ein Thema. Ein Gerät mit vereintem Speicher bleibt dagegen leise und sparsam – langsamer zwar, aber es steht auch neben niemandem.

Wer den Aufbau plant, sollte das Gerät deshalb dorthin stellen, wo Lärm nicht stört, und es über das Netz nutzen. Das ist zugleich der Grund, warum die Serverlösung ab einer Handvoll Nutzer fast immer gewinnt.

Der Prüfweg, bevor Sie etwas kaufen

Erstens: die Aufgabe benennen. Nicht „wir wollen KI", sondern „wir wollen Eingangsrechnungen auslesen" oder „wir wollen Besprechungsnotizen diktieren". Aus der Aufgabe folgt die Modellgröße, aus der Modellgröße die Ausstattung. Umgekehrt funktioniert es nicht.

Zweitens: auf vorhandener Hardware testen. Nahezu jeder Betrieb hat ein Gerät, auf dem sich ein kleines Modell ausprobieren lässt. Eine Woche mit echten Unterlagen sagt mehr als jeder Testbericht – und beantwortet nebenbei die Frage, ob die Aufgabe überhaupt zur KI passt.

Drittens: die Grenze suchen. Erst wenn klar ist, woran das kleine Modell scheitert, ist auch klar, was das größere können muss. Ohne diesen Schritt kauft man entweder zu klein und ärgert sich oder zu groß und zahlt für Reserven, die nie gebraucht werden.

Viertens: den Betrieb mitdenken. Wer pflegt die Modelle, wer aktualisiert das Werkzeug, wo liegen die Daten, wer darf zugreifen? Ein Gerät im Regal ist keine Lösung. Die Antwort auf diese vier Fragen entscheidet darüber, ob die Sache nach einem halben Jahr noch läuft.

Schreiben Sie kurz, welche Aufgabe Sie im Blick haben und welche Geräte vorhanden sind. Wir sagen Ihnen, ob das vorhandene Gerät reicht – auch dann, wenn die Antwort lautet, dass sich der Aufwand für diese Aufgabe nicht lohnt.