AirLLM: Ein Modell mit 2,8 Billionen Parametern auf einem 4-GB-Laptop. Was an dem Versprechen stimmt, was fehlt und was ein Betrieb stattdessen lokal betreibt.
Ein Kurzvideo mit 102 Sekunden Länge verspricht: Das offene Modell, das gerade Claude geschlagen hat, läuft auf jedem günstigen Laptop mit 4 GB Grafikspeicher, ohne Abo, ohne Internet, für immer, und die Antwort dauert ein bis drei Minuten. Das Werkzeug dahinter heißt AirLLM. Wir haben das README des Projekts, die Veröffentlichungen zu Kimi K3 und eine unabhängige Analyse gelesen und den Rechenweg selbst nachgerechnet. Ergebnis: Die Speicherzahl stimmt. Das Tempo ist nicht belegt und nach unserem Überschlag um ein bis zwei Größenordnungen zu optimistisch. Und der Satz „Ihre KI-Kosten sind jetzt null“ gilt nur, wenn Ihre Zeit nichts kostet.
Was das Video behauptet und was die Quellen sagen
Das Video stammt vom Kanal InsiderForce, veröffentlicht am 19. Oktober 2026. Es nennt das Modell „Chimera-3“, dazu DeepSeek-R1 und Llama mit 405 Milliarden Parametern. Wir haben jede Aussage gegen das README von AirLLM, die Berichterstattung zu Kimi K3 und die Analyse von Wavect vom August 2026 gestellt.
| Behauptung im Video | Befund | Beleg |
|---|---|---|
| Das Modell läuft auf einem Laptop mit 4 GB Grafikspeicher | Stimmt für den Grafikspeicher. AirLLM nennt rund 4 GB für Llama 70B, 8 GB für Llama 405B, 12 GB für DeepSeek-V3 und 3,72 GB für Kimi K3, gemessen auf einer RTX 6000 Ada. Die Festplatte und der Arbeitsspeicher kommen im Video nicht vor. | AirLLM-README |
| Normal braucht das Modell 1.400 GB Speicher | Größenordnung stimmt. Der Prüfpunkt von Kimi K3 umfasst rund 1,6 TB, DeepSeek-V3 hat 671 Milliarden Parameter. Genau diese Datenmenge muss auch mit AirLLM auf der Platte liegen, nur eben auf der SSD statt im Grafikspeicher. | Wavect, AirLLM-README |
| Eine Antwort dauert 1 bis 3 Minuten | Nicht belegt. Das README enthält keine Angabe in Tokens je Sekunde. Wavect weist darauf hin, dass das verlinkte 405B-Notizbuch keine ausgeführten Zeitmessungen enthält und ein vorab auf 4 Bit komprimiertes Modell nutzt. Unser Überschlag weiter unten landet bei Stunden, nicht Minuten. | AirLLM-README, Wavect |
| Das Modell hat gerade Claude geschlagen | Teilweise. Kimi K3 liegt auf einzelnen Ranglisten vorn, etwa beim Frontend-Code der Arena und beim Schreibstil-Elo von Towards AI. Im Gesamtindex von Artificial Analysis liegt es mit 57 Punkten hinter Claude Fable 5 (60) und GPT-5.6 Sol (59). Die Halluzinationsrate stieg gegenüber dem Vorgänger von 39 auf 51 Prozent. | Decrypt, 17. Juli 2026 |
| Es heißt Chimera-3 | Kein Hersteller nennt ein Modell so. Der Name kursiert seit Juli 2026 in Kurzvideos und Beiträgen für Kimi K3 von Moonshot AI. AirLLM führt in seiner Liste Kimi K3, kein Chimera. | daily.dev, AirLLM-README |
| Auf dem Mac läuft es direkt auf dem Chip | Nur für Llama-Architekturen. Das README nennt für Apple Silicon ausschließlich LlamaForCausalLM und MistralForCausalLM, alle anderen Modelle brechen vor dem Herunterladen ab. Kimi K3, DeepSeek und Qwen laufen auf dem Mac nicht. | AirLLM-README |
| Ohne Abo, ohne Beschränkung, Kosten null | Lizenz ja: Kimi K3 hat offene Gewichte unter einer angepassten MIT-Lizenz. Kosten nein: 2 TB freier SSD-Platz, Strom für Stunden je Antwort und die Arbeitszeit, in der jemand wartet. | Decrypt, Wavect |
Wie AirLLM arbeitet: eine Schicht nach der anderen
Ein Sprachmodell ist eine Kette aus Rechenschichten. Kimi K3 hat 93 davon, Llama 70B hat 80. Normalerweise liegen alle Schichten gleichzeitig im Grafikspeicher, und ein Token läuft in wenigen Millisekunden einmal durch die ganze Kette. Das ist der Grund, warum große Modelle große Grafikkarten brauchen: nicht wegen der Rechnung, sondern wegen des Platzes.
AirLLM dreht das um. Beim ersten Start zerlegt es das Modell in einzelne Schichtdateien auf der Festplatte. Beim Rechnen lädt es Schicht 1 in die Grafikkarte, rechnet, verwirft sie, lädt Schicht 2 und so weiter bis zur letzten. Dann steht ein Token fest, also ein Wortstück. Für das nächste Token beginnt die Kette von vorn. Der Grafikspeicher muss damit nur eine Schicht fassen, deshalb die 4 GB. Das Video vergleicht das mit einem Drucker, der ein Buch Seite für Seite druckt, statt das ganze Buch auf einmal einzulegen. Der Vergleich ist gut, nur zieht er die Folgerung nicht: Wer für jedes Wort das ganze Buch einmal durch den Drucker schiebt, wartet sehr lange auf einen Satz.
Der Preis heißt Zeit: ein Überschlag
Weil der Hersteller keine Geschwindigkeit nennt, rechnen wir selbst. Das ist ein Überschlag mit den Zahlen aus dem README und üblichen SSD-Werten, keine Messung. Wer es genau wissen will, misst auf seinem Gerät, so wie wir es bei jedem Projekt tun.
- 70 Milliarden Parameter mit 16 Bit je Parameter sind rund 140 GB Modelldaten. Wavect nennt für den Einrichtungsvorgang „deutlich über 100 GB“ Plattenplatz.
- Jedes Token läuft einmal durch alle 80 Schichten, also einmal durch die 140 GB.
- Eine NVMe-SSD liefert im Dauerbetrieb 3 bis 7 GB je Sekunde, nicht die Werbeangabe auf der Packung.
- Ergebnis: 20 bis 47 Sekunden je Token. Eine Antwort mit 300 Wörtern, rund 400 Token, dauert 2 bis 5 Stunden.
- Mit der 4-Bit-Kompression von AirLLM schrumpft das Modell auf rund 35 GB: 5 bis 12 Sekunden je Token, 35 bis 80 Minuten je Antwort. Der Hersteller nennt dafür „bis zu dreifaches Tempo“ und einen „fast vernachlässigbaren“ Qualitätsverlust, ohne Messwerte.
Bei Kimi K3 sieht es anders aus, aber nicht besser. Das Modell wählt für jedes Token 16 von 896 Expertenblöcken aus, AirLLM lädt seit Juli 2026 nur diese Experten nach. Trotzdem sind das laut Wavect rund 104 Milliarden aktive Parameter je Token, also mehrere Dutzend Gigabyte, die bei jedem Wortstück von der SSD kommen. Davor muss der Prüfpunkt von 1,6 TB überhaupt erst auf der Platte liegen und beim ersten Start zerlegt werden. Ein Laptop mit 4 GB Grafikspeicher hat selten 2 TB freien Platz, und die Einrichtung läuft Stunden, bevor das erste Token erscheint.
Wenn der Arbeitsspeicher groß genug ist, dass das zerlegte Modell im Dateicache bleibt, kommen die Schichten aus dem RAM statt von der SSD, mit 20 bis 50 GB je Sekunde. Für ein 70B-Modell in 4 Bit heißt das etwa ein bis zwei Sekunden je Token. Nur: Ein Rechner mit 64 oder 128 GB Arbeitsspeicher ist kein 4-GB-Laptop mehr, sondern eine Workstation. Und mit so einer Workstation läuft dasselbe Modell über die CPU ohne AirLLM ähnlich schnell.
Was „Chimera-3“ wirklich ist
Kein Hersteller hat ein Modell dieses Namens veröffentlicht. Der Name taucht seit Ende Juli 2026 in Kurzvideos und Blogbeiträgen auf und meint Kimi K3 von Moonshot AI aus Peking. Das Modell erschien am 16. Juli 2026 mit 2,8 Billionen Parametern, 896 Expertenblöcken, einem Kontextfenster von einer Million Token und offenen Gewichten unter einer angepassten MIT-Lizenz. Es ist das größte frei verfügbare Modell, das es bisher gibt, und AirLLM hat es als erstes Werkzeug auf einer einzelnen Grafikkarte zum Laufen gebracht.
Zu den Benchmark-Siegen: Kimi K3 liegt beim Schreibstil-Elo von Towards AI mit 2.840 vor Claude Fable 5 mit 2.760, in der Frontend-Rangliste der Arena mit 1.679 vor 1.631 und gewinnt bei BridgeBench sieben von acht Disziplinen. Im Gesamtindex von Artificial Analysis liegt es mit 57 Punkten auf Platz drei hinter Claude Fable 5 und GPT-5.6 Sol und vor Claude Opus 4.8. Gleichzeitig stieg die Halluzinationsrate gegenüber dem Vorgänger K2.6 von 39 auf 51 Prozent: mehr richtige Antworten, aber auch mehr erfundene. „Hat Claude geschlagen“ ist also wahr für einzelne Aufgaben und falsch als Gesamturteil. Was chinesische Modelle für einen deutschen Betrieb bedeuten und wohin die Daten laufen, steht in DeepSeek, Qwen, Kimi, GLM.
Wofür AirLLM taugt und wofür nicht
AirLLM ist ein Forschungs- und Zugangswerkzeug, kein Betriebssystem für KI im Alltag. Das sagt auch die unabhängige Analyse von Wavect, und das deckt sich mit dem, was wir aus dem Rechenweg ableiten.
Ein großes offenes Modell auf der eigenen Hardware ausprobieren, ohne einen Mietserver mit acht Grafikkarten zu buchen. Eine Frage, eine Nacht Wartezeit, eine Antwort. Für Forschung, Lehre und für die Entscheidung, ob sich die große Hardware überhaupt lohnt.
Wenn viele Eingaben gleichzeitig verarbeitet werden, dient eine geladene Schicht allen Sequenzen auf einmal. Tausend Dokumente klassifizieren, die bis morgen früh fertig sein müssen, ist der Fall, in dem das Verfahren seinen Sinn hat.
Niemand wartet eine Stunde auf eine Antwort im Gespräch. Für Assistenten, Textentwürfe im Dialog und Suchfunktionen braucht es Modelle, die vollständig im Speicher liegen und in Sekunden antworten.
Ein Werkzeug, dessen Durchsatz an der SSD hängt, skaliert nicht auf zehn Mitarbeitende. Und wer Kundendaten durch ein Modell schickt, braucht vorher eine Sicherheitsprüfung, nicht ein Skript aus einem Kurzvideo.
Was wir stattdessen machen
Die Frage hinter dem Video ist berechtigt: Wie bekommt ein Betrieb ein gutes Sprachmodell auf eigene Hardware, ohne Abo und ohne dass Daten das Haus verlassen? Die Antwort ist nicht das größte Modell auf dem kleinsten Rechner, sondern das kleinste Modell, das die Aufgabe besteht, auf einem Rechner, der es vollständig im Speicher hält. Vier Schritte, in dieser Reihenfolge.
Belege auslesen, Mails vorsortieren, Angebote entwerfen, Protokolle zusammenfassen. Jede dieser Aufgaben hat ein Modell, das sie mit 4 bis 30 Milliarden Parametern besteht. Ein Modell mit 2,8 Billionen Parametern braucht davon keine.
Wir messen auf Ihrer Hardware: Zeit bis zum ersten Token, Tokens je Sekunde, Trefferquote an fünfzig echten Dokumenten. Das Ergebnis entscheidet über das Modell, nicht ein Kurzvideo und nicht ein Benchmark aus Peking oder San Francisco.
Ein Modell, das vollständig im Grafik- oder Arbeitsspeicher liegt, antwortet in Sekunden. Eine gebrauchte Workstation mit einer 24-GB-Karte oder ein Mac mit 64 GB gemeinsamem Speicher reicht für die meisten Betriebe. Welches Modell auf welche Hardware passt, steht in Lokale LLMs herunterladen.
Modell, Oberfläche, Rechte, Sicherung, Aktualisierung. Wir richten das als Dienst ein, der morgens läuft, ohne dass jemand ein Skript startet. Und wenn eine Aufgabe wirklich ein Spitzenmodell braucht, binden wir es mit Datenschutzvertrag an, statt es über Nacht auf einer SSD zu quälen.
Mehr zur lokalen KI im Betrieb unter Lokale KI auf dem eigenen PC, Firmen-KI statt ChatGPT-Chaos und Belegerkennung lokal. Welche Geräteklasse welches Modell schafft, steht in KI auf dem eigenen Gerät 2026, und dass ein Modell sogar im Flugmodus auf dem Handy läuft, zeigt KI offline auf dem Handy. Warum ein Rechner langsam wird, sobald er Daten von der Platte statt aus dem Speicher holt, erklärt am Beispiel Server der Beitrag Swap voll. Es ist derselbe Effekt, den AirLLM absichtlich in Kauf nimmt.
Quellen
- InsiderForce: The Open Source Model Beating Claude Now Runs on a 4GB Laptop for Free: Kurzvideo vom 19. Oktober 2026, 102 Sekunden, Grundlage der geprüften Behauptungen
- AirLLM auf GitHub: README mit Speicherwerten je Modell, Schichtverfahren, Kompression, Mac-Einschränkung, Kimi-K3-Unterstützung seit Juli 2026, Änderungsprotokoll
- Hugging Face: Run 70B LLM Inference on a Single 4GB GPU: Beschreibung des Schichtverfahrens durch den Entwickler
- Wavect: AirLLM on 4 GB VRAM, How Layer-Wise Inference Really Works: 20. August 2026, Speicherverkehr je Token, fehlende Tempomessungen, Prüfpunktgröße und Schichtzahl von Kimi K3, Einsatzfelder
- Decrypt, 17. Juli 2026: Kimi K3: Veröffentlichung, Parameter, Lizenz, Benchmark-Werte, Intelligence Index, Halluzinationsrate
- daily.dev, 31. Juli 2026: Kimi K3 (Chimera-3): Beleg für die Gleichsetzung des Namens Chimera-3 mit Kimi K3
Stand der Angaben: 21. Oktober 2026. Die Zeitangaben im Rechenbeispiel sind ein Überschlag aus Modellgröße und SSD-Durchsatz, keine Messung. Benchmark-Werte stammen aus den genannten Veröffentlichungen und ändern sich mit jeder Modellversion.