Ein kleines Startup aus Miami stellt die Grundrechnung der KI-Industrie auf den Kopf. Subquadratic hat mit SubQ das erste Sprachmodell vorgestellt, dessen Rechenaufwand linear mit der Textlänge skaliert. Damit könnte das größte Flaschenhals moderner KI-Systeme verschwinden.
Warum quadratische Skalierung das KI-Problem Nummer eins ist
Seit 2017 basiert praktisch jedes große KI-Modell auf der Transformer-Architektur. Ihr Kernmechanismus heißt Attention: Jedes Wort wird mit jedem anderen Wort verglichen. Das funktioniert hervorragend, jedoch gibt es einen Haken. Verdoppelt man die Eingabelänge, vervierfacht sich der Rechenaufwand. Diese quadratische Skalierung hat die gesamte Industrie geprägt. Deshalb stoppen aktuelle Modelle bei etwa 128.000 Tokens. Selbst frontier-Systeme wie Claude Opus 4.7 oder Gemini 3.1 Pro erreichen höchstens eine Million Tokens.
Dabei ist der Bedarf an längeren Kontexten riesig. Softwareentwickler müssen komplette Codebasen erfassen. Juristen brauchen Zugriff auf Verträge mit Hunderten Seiten. Forscher arbeiten mit großen Dokumentensammlungen. Weil die Modelle das nicht leisten können, hat sich eine ganze Industrie von Workarounds gebildet.
RAG und Chunking sind Notlösungen, keine Lösungen
Retrieval-Augmented Generation, kurz RAG, ist der populärste dieser Workarounds. Dabei durchsucht ein System eine Datenbank und schickt nur die vermeintlich relevanten Fragmente an das Modell. Das spart Tokens, verliert jedoch Struktur. Ein Absatz ohne Kontext verliert seine Bedeutung. Zudem erfordern RAG-Pipelines aufwendige Wartung und fehleranfällige Orchestrierung.
Mehragenten-Systeme zerlegen Aufgaben in kleinere Schritte. Jedoch häufen sich Fehler zwischen den Schritten. Der Kontext wird bei jedem Übergang komprimiert, wodurch Informationen verloren gehen. Subquadratics CTO Alexander Whedon beschrieb dieses Problem treffend: Die manuelle Kuratierung von Prompts und Retrieval-Logik sei eine Verschwendung menschlicher Intelligenz.
SSA: Wie Subquadratic Attention linear macht
Subquadratics Ansatz heißt Subquadratic Sparse Attention, kurz SSA. Statt jedes Token mit jedem zu vergleichen, lernt das Modell, welche Vergleiche tatsächlich wichtig sind. Die Auswahl erfolgt inhaltsabhängig, also basierend auf Bedeutung statt auf festen Positionsmustern. Dadurch skaliert der Rechenaufwand linear mit der Textlänge.
Die Konsequenzen sind gewaltig. Bei 12 Millionen Tokens reduziert SSA den Attention-Rechenaufwand um fast das Tausendfache gegenüber herkömmlichen Modellen. Auf dem RULER 128K Benchmark erreicht SubQ 95,6 Prozent Genauigkeit bei Kosten von 8 Dollar. Claude Opus liegt bei 94,8 Prozent für rund 2.600 Dollar. Das entspricht einer Kostenreduktion um den Faktor 300.
Was 12 Millionen Tokens in der Praxis bedeuten
Zwölf Millionen Tokens entsprechen etwa 9 Millionen Wörtern oder knapp 120 Büchern. Entwickler könnten mit SubQ Code komplette Repositories in einem Durchlauf analysieren. SubQ Search bietet Deep-Research-Fähigkeiten mit Chatbot-Geschwindigkeit. Die API ermöglicht Unternehmen, riesige Dokumentensammlungen ohne Chunking oder RAG zu verarbeiten.
Auf dem MRCR-v2-Benchmark, der Mehrfach-Reasoning über verteilte Informationen testet, erreicht das Forschungsmodell einen Score von 83. Die Produktionsversion liegt bei 65,9 und damit vor Claude Opus 4.7 mit 32,2 Punkten. Im SWE-Bench Verified Score erreicht SubQ 81,8 Prozent und liegt damit vor Opus 4.6 mit 80,8.
29 Millionen Seed-Funding und 500 Millionen Bewertung
Subquadratic hat 29 Millionen Dollar Seed-Finanzierung eingesammelt. Zu den Investoren zählen Tinder-Mitgründer Justin Mateen, der ehemalige SoftBank-Vision-Fund-Partner Javier Villamizar sowie frühe Investoren von Anthropic und OpenAI. Die Bewertung liegt laut Berichten bei 500 Millionen Dollar. Das Forschungsteam umfasst PhDs und veröffentlichte Forscher von Meta, Google, Oxford, ByteDance, Adobe und Cambridge.
Die Reaktion der Forschungsgemeinde ist jedoch gemischt. Einige zeigen echtes Interesse, andere sprechen offen von Vaporware. Die Kritik richtet sich vor allem gegen die fehlende unabhängige Validierung. Subquadratic hat zwar Drittbewertungen durch Appen vorgelegt. Vollständig unabhängige Reproduktionen stehen jedoch noch aus.
Warum Skepsis angebracht bleibt
Subquadratic ist nicht das erste Startup, das die quadratische Grenze sprengen will. Mamba, State Space Models und Linear Attention wurden als Transformer-Killer gefeiert. Jedoch kehrten die meisten Projekte zur dichten Aufmerksamkeit zurück, als die Qualitätseinbußen zu groß wurden. SSA könnte denselben Weg gehen.
Zudem operiert das Modell derzeit im Preview-Status. Die volle Leistungsfähigkeit von 12 Millionen Tokens wurde nur im Forschungssetup demonstriert. Das Produktionsmodell deckt aktuell eine Million Tokens ab. Bis die Architektur im großen Maßstab validiert ist, bleibt die Frage offen, ob SSA im Alltag hält, was im Labor verspricht.
Dennoch ist der Ansatz vielversprechend. Wenn lineare Skalierung bei frontier-Niveau funktioniert, ändert das die gesamte KI-Infrastruktur. RAG-Pipelines, Chunking-Strategien und Mehragenten-Orchestrierung würden obsolet. Die Frage ist nicht, ob subquadratische Architekturen kommen. Die Frage ist, ob SubQ derjenige ist, der sie liefert.
