Ein winziges KI-Modell mit nur acht Milliarden Parametern schlägt die teuersten Cloud-APIs der Welt. Klingt wie ein Aprilscherz, ist aber das Ergebnis einer Studie, die auf der CAIS 2026 vorgestellt wurde. Das Geheimnis heißt Forge und beweist, dass Zuverlässigkeit nicht von Modellgröße kommt, sondern von der richtigen Architektur drumherum.
Das mathematische Problem mit KI-Agenten
Wer KI-Agenten im Produktivbetrieb einsetzt, kennt das Problem. Mehrschrittige Workflows versagen häufig, weil sich Fehler pro Schritt aufschaukeln. Bei 95 Prozent Genauigkeit pro Einzelschritt schafft ein fünfstufiger Workflow nur 77 Prozent Abschlussrate. Bei zehn Schritten sinkt der Wert auf 60 Prozent. Zwanzig Schritte? Nur noch 36 Prozent. Deshalb setzen Teams bisher auf teure Front-Modelle wie Claude Sonnet, die pro Schritt zuverlässiger sind.
Was Forge anders macht
Forge ist ein Open-Source-Python-Framework von Entwickler Antoine Zambelli, der als AI Director bei Texas Instruments arbeitet. Das Framework verändert keine Modellgewichte. Stattdessen umschließt es den Inferenzlauf mit fünf Schichten, die ein unzuverlässiges Werkzeug zu einem produktionsreifen Agenten machen.
Zum einen gibt es Retry-Nudges: Statt einen fehlgeschlagenen Workflow neu zu starten, sendet Forge einen Korrekturhinweis an das Modell. Diese einzelne Schicht bringt 24 bis 49 Prozentpunkte Verbesserung. Zum anderen repariert Rescue Parsing fehlerhafte Werkzeugaufrufe wie ungültiges JSON automatisch, anstatt eine Ausnahme zu werfen. Zusätzlich erzwingt Step Enforcement die korrekte Reihenfolge der Arbeitsschritte. Error Recovery passt die Strategie bei kumulierten Fehlern an. Context Compaction verwaltet den VRAM-Budget transparent.
Die Ergebnisse im Detail
Getestet wurde Forge über 50 Modell- und Backend-Konfigurationen in 26 Szenarien. Ein nacktes 8B-lokales Modell erreichte etwa 53 Prozent Abschlussrate. Mit Forge stieg der Wert auf 99,3 Prozent. Claude Sonnet ohne Guardrails kam auf 87,2 Prozent. Ein lokales 8B-Modell mit Forge schlägt also eine Frontier-API im Normalbetrieb. Die Differenz beträgt mehr als zehn Prozentpunkte.
Besonders überraschend: Dasselbe Mistral-Nemo-12B-Modell lieferte auf einer llama-server-Konfiguration 7 Prozent, auf Llamafile dagegen 83 Prozent. Gleiche Gewichte, anderer Serving-Stack, 76 Punkte Unterschied. Viele Teams bekommen schlechte Ergebnisse nicht wegen des Modells, sondern wegen der Konfiguration.
Kostenvergleich: Lokal vs. Cloud
Eine RTX 4090 mit Ministral-3 8B kostet etwa 0,0003 Dollar pro Million Token an Strom. Die GPT-4.1-API verlangt 2 Dollar pro Million Token. Das ist ein Faktor von 6.000. Allerdings rechnet sich Selbst-Hosting erst ab etwa 11 Milliarden Token pro Monat. Unterhalb dieser Schwelle bleiben Cloud-APIs günstiger. Forge ändert nicht die Kostenrechnung, sondern das Zuverlässigkeitsargument. Der letzte ernsthafte Einwand gegen lokale Agenten war deren Unzuverlässigkeit. Dieser Einwand ist jetzt deutlich schwächer geworden.
Grenzen des Frameworks
Forge fängt keine semantischen Fehler ab. Wenn ein Modell gültiges JSON produziert, aber die falsche Entscheidung trifft, ist das außerhalb des Frameworks. Außerdem wurde die Latenz unter Retry-Bedingungen im Benchmark nicht vollständig charakterisiert. Zudem stammen die Ergebnisse aus der eigenen 26-Szenarien-Suite von Forge. Unabhängige Validierungen stehen noch aus.
Trotzdem zeigt das Projekt, dass die KI-Industrie möglicherweise das falsche Problem löst. Statt immer größere Modelle zu trainieren, könnte die Antwort in besseren Zuverlässigkeitsschichten liegen. Das würde auch die Kluft zwischen Unternehmen mit und ohne Zugang zu teuren APIs verkleinern, wie wir bereits in unserem Artikel über den Preiskampf bei KI-Programmierertools beschrieben haben. Ähnlich wie bei der Stanford-Studie zu Einzel-Agenten zeigt Forge, dass größer nicht automatisch besser bedeutet.
