Die KI-Kanzlei-Box: Mandatsdaten bleiben in Ihrem Haus.Ein eigenes Sprachmodell auf eigener Hardware in Ihrer Kanzlei.

Auf der Solo-Box läuft ein Open-Weight-Sprachmodell im Bereich 8 bis 14 Milliarden Parameter. Das trägt Entwürfe, Zusammenfassungen, Korrespondenz und das Herausziehen von Fristen aus Dokumenten. Auf dem Kanzlei-Server setzen wir typischerweise die Klasse 20 bis 32 Milliarden Parameter ein. Modelle der 70-Milliarden-Klasse laufen ausschließlich in der Agenten-Ausbaustufe mit entsprechend dimensioniertem Grafikspeicher: quantisiert belegen dort allein die Gewichte etwa 35 bis 45 Gigabyte, und für lange Kontexte sowie mehrere gleichzeitige Sitzungen muss zusätzlicher Grafikspeicher frei bleiben. Welche Modellfamilie und welche Quantisierung wir wählen, entscheiden wir anhand Ihrer Aufgaben, der gewünschten Kontextlänge und der Parallelität und halten die Entscheidung in den Übergabe-Unterlagen fest.

Zu trennen sind zwei Zahlen. Benutzerkonten: Der Kanzlei-Server ist für 3 bis 15 Konten ausgelegt, die Solo-Box für 1 bis 2 Arbeitsplätze. Gleichzeitige Sitzungen: Wie viele Anfragen wirklich parallel laufen, hängt von Modellgröße, Kontextlänge und Grafikspeicher ab und ist deutlich niedriger als die Zahl der Konten. Wir legen diese Zahl vor dem Auftrag in einem Referenztest auf Ihren eigenen Aufgaben fest und schreiben sie als Abnahmekriterium ins Angebot. Wer mehrere Agenten gleichzeitig arbeiten lassen will, braucht die Agenten-Ausbaustufe – dort ist Grafikspeicher die begrenzende Größe, nicht die Kopfzahl der Kanzlei.

Ja. Auf Wunsch liefern wir die Box mit einer Agenten-Schnittstelle im Kanzlei-Netz. Sie stellt dieselben lokalen Modelle in zwei Fassungen bereit: eine OpenAI-kompatible Schnittstelle für eigene Anwendungen und Skripte sowie eine zur Messages-API kompatible Schnittstelle mit Streaming und Werkzeugaufrufen, wie sie Agenten-Desktops im Drittanbieter-Modus erwarten. Ein rein OpenAI-kompatibler Endpunkt genügt diesen Agenten nicht, deshalb liefern wir beide. Jeder Arbeitsplatz und jeder Agent bekommt einen eigenen Zugangsschlüssel, die Verbindung läuft über TLS, und die ausgehenden Netzwerkziele der beteiligten Software dokumentieren wir vor der Freigabe. Vor der Hardware-Entscheidung testen wir Ihre echten Werkzeugketten gegen eine Referenzmaschine.

Wir nennen zwei getrennte Zeiten, weil eine Gesamtzahl in die Irre führt. Zeit bis zum Antwortbeginn: bei kurzen Anfragen typischerweise wenige Sekunden. Zeit bis zur vollständigen Auswertung: Bei einem 60-seitigen Vertrag mit Fundstellen-Verweisen liegt sie je nach Stufe, Modellgröße und Kontextlänge im Bereich mehrerer Minuten, weil das Dokument zunächst vollständig eingelesen werden muss. Welche Werte Ihre Konfiguration erreicht, messen wir im Referenztest an Ihren eigenen Dokumenten und halten sie als Abnahmekriterium fest, statt sie zu versprechen.

Über das RAG-Prinzip. Sie legen Akten – Schriftsätze, gescannte Verträge, Entscheidungen, eigene Vorlagen – in ein Verzeichnis auf der Box. Eine Indexierung auf der Box zerlegt die Dokumente in Abschnitte und legt einen Vektor-Index an. Bei einer Frage sucht die Box zuerst die passenden Stellen und reicht sie dem Modell als Kontext mit; die Antwort enthält die Verweise auf die Fundstellen. Akten, Index, Modell und Antwort liegen auf Ihrer Hardware. Die Konfiguration ist darauf ausgelegt, dass Ergänzungen über den mitgereichten Kontext hinaus vermieden werden – eine Garantie dafür gibt es bei Sprachmodellen nicht, jede Ausgabe bleibt prüfpflichtig.

Sobald Fernwartung mit möglicher Kenntnisnahme von Mandatsdaten stattfindet, wird nach der Linie der Datenschutzkonferenz regelmäßig eine Auftragsverarbeitung angenommen – dann gehören ein Vertrag nach Art. 28 DSGVO sowie eine Verschwiegenheits- und Zugriffsregelung nach § 43e BRAO in Verbindung mit § 203 StGB dazu. Wir liefern beide Unterlagen mit. Reiner Hardware-Betrieb ohne jeden Zugriff von außen kann außerhalb einer Auftragsverarbeitung liegen; das ist eine Einzelfallbewertung Ihrer Kanzlei, keine Zusage von uns. Auf Wunsch betreiben wir die Box ohne dauerhaft offenen Fernzugang, mit zeitlich begrenztem und protokolliertem Notfallzugang.

Die Hardware altert langsamer als die Modelle. Was nach drei bis vier Jahren eintritt: Die nächste Modellgeneration verlangt mehr Speicher, als Ihre Box hat. Dann gibt es drei Wege. Erstens bei der bisherigen Generation bleiben – die Box läuft unverändert weiter. Zweitens erweitern, etwa Arbeitsspeicher, SSD oder eine zusätzliche Grafikkarte. Drittens ersetzen und die alte Box als Sicherung oder Testsystem behalten. Die Modellgewichte nutzen Sie nach der jeweiligen Modell-Lizenz; die Hardware gehört Ihnen.

Nein, wenn die Sicherung steht. Die Akten liegen weiter dort, wo sie vorher lagen: in Ihrer Kanzlei-Software und in Ihrem Dateisystem. Auf der Box liegen eine Arbeitskopie und der Suchindex. Wir richten bei der Einrichtung eine automatische Sicherung auf ein zweites Gerät in der Kanzlei oder auf einen von Ihnen bestimmten Speicherort ein. Fällt die Box aus, wird Hardware getauscht, die Konfiguration wird aus der dokumentierten Referenz neu aufgesetzt, der Index wird neu erzeugt. Ihre laufende Aktenarbeit hängt zu keinem Zeitpunkt an der Box.