Anthropic veröffentlicht einen Alarmruf: KI-Systeme könnten bald in der Lage sein, sich selbst zu verbessern, ohne dass Menschen den Prozess steuern. Der Blogpost von Mitgründer Jack Clark und Forschungsinstitut-Leiterin Marina Favaro warnt ausdrücklich vor rekursiver Selbstverbesserung. Allerdings kommt diese Warnung kurz vor dem geplanten Börsengang des Unternehmens, was Kritiker aufhorchen lässt.
Was ist rekursive Selbstverbesserung?
Dabei handelt es sich um einen Prozess, bei dem ein KI-Modell autonom sein eigenes Nachfolgermodell entwirft, entwickelt und trainiert. Der Mensch rückt dabei zunehmend in den Hintergrund. Anthropic zeigt in seinem Blogpost, dass dieser Trend bereits im Gange ist: Über 80 Prozent des Codes, der bei Anthropic in die Codebasis fließt, stammt mittlerweile von Claude selbst. Zudem liefern Ingenieure jetzt etwa achtmal so viel Code pro Quartal wie vor 2025.
Die Entwicklung verläuft in Stufen. Zuerst nutzten Menschen KI-Chatbots für kleine Codeschnipsel. Dann übernahmen Coding-Agenten ganze Dateien. Heute können autonome Agenten Code selbstständig ausführen und Stunden an Arbeit an andere Agenten delegieren. Der nächste Schritt wäre das Schließen des Kreislaufs: KI-Systeme, die Modelle bauen und trainieren, ohne menschliches Eingreifen.
Zeitrahmen beschleunigt sich
Die Daten, die Anthropic vorlegt, sind bemerkenswert. Die Länge der Aufgaben, die KI-Modelle zuverlässig selbstständig erledigen können, verdoppelt sich derzeit etwa alle vier Monate. Im März 2024 konnte Claude Opus 3 Software-Aufgaben bewältigen, die Menschen etwa vier Minuten dauern. Ein Jahr später schaffte Claude Sonnet 3.7 Aufgaben von anderthalb Stunden Dauer. Wiederum ein Jahr darauf bewältigte Claude Opus 4.6 Aufgaben mit zwölf Stunden Bearbeitungszeit.
Sollte sich dieser Trend fortsetzen, könnten 2027 Aufgaben im Bereich von Wochen in Reichweite KI-gesteuerter Systeme liegen. Der Benchmark SWE-bench, der reale Softwareentwicklungsaufgaben misst, wurde in nur zwei Jahren von einstelligen Prozentwerten bis zur Sättigung durchlaufen. Auch CORE-Bench, der die Fähigkeit testet, wissenschaftliche Forschung zu reproduzieren, zeigt einen ähnlichen Verlauf: von 20 Prozent im Jahr 2024 auf Sättigung nur fünfzehn Monate später.
Anthropic fordert globale Pause
Der Blogpost fordert ausdrücklich eine koordinierte Pause der KI-Entwicklung. Allerdings nur unter einer Bedingung: Mehrere gut ausgestattete Labore an der Spitze müssten sich gleichzeitig dazu bereit erklären, unter denselben Bedingungen zu stoppen. Das schließt Konkurrenten wie OpenAI, Google, xAI und Meta ein.
Anthropic argumentiert, dass ein solcher Mechanismus notwendig sei, um sicherzustellen, dass weniger vorsichtige Akteure nicht aufholen können, während andere sich zurückhalten. Zusätzlich müsse es eine Möglichkeit geben, zu verifizieren, dass alle Beteiligten die Pause tatsächlich einhalten. Das Unternehmen plant, in den kommenden Monaten politische Entscheidungsträger, Forscher und Zivilgesellschaft zusammenzubringen.
Zeitpunkt wirft Fragen auf
Die Veröffentlichung kommt zu einem heiklen Zeitpunkt. Erst kürzlich hat Anthropic vertrauliche Unterlagen für einen Börsengang eingereicht, der das Unternehmen mit knapp einer Billion Dollar bewerten könnte. Im vergangenen Monat überholte Anthropic OpenAI als wertvollstes KI-Labor bei einer Bewertung von 965 Milliarden Dollar.
Kritiker werfen dem Unternehmen vor, Sicherheitsrhetorik als Wettbewerbsvorteil einzusetzen. Trump-Berater David Sacks sprach bereits von einer „Regulierungs-Eroberungsagenda“, die darauf abziele, Konkurrenten unter dem Deckmantel verantwortungsvoller KI-Entwicklung auszubremsen. Zudem hatte Anthropic im Februar seine eigene Responsible Scaling Policy überarbeitet und dabei die zentrale Zusage gestrichen, kein KI-System zu trainieren, dessen Sicherheitsmaßnahmen nicht im Voraus garantiert werden könnten.
OpenAI geht einen anderen Weg
Nur einen Tag vor Anthropics Beitrag veröffentlichte OpenAI einen eigenen Bericht mit einer gegensätzlichen Position. Darin argumentiert das Unternehmen, dass demokratische Regierungen und nicht einzelne Unternehmen über das Tempo der KI-Entwicklung entscheiden sollten. OpenAI verpflichtete sich zudem als erstes großes Labor, freiwillig seine Frontiernetzwerke vor der Veröffentlichung einer Regierungsbehörde zur Prüfung vorzulegen, wie es Trumps Executive Order vom 2. Juni vorsieht.
Wissenschaftler warnen vor KI-Wurm
Die Debatte bekommt zusätzliche Brisanz durch eine unabhängige Studie der Universität Toronto. Forscher um Nicolas Papernot zeigten, wie KI-Werkzeuge genutzt werden können, um einen neuen Typ von KI-Wurm zu erschaffen, der seine Hack-Strategie beim Springen von Gerät zu Gerät anpasst. Papernot betont, dass nicht nur die größten Sprachmodelle Sicherheitsrisiken darstellen, sondern auch günstige Open-Source-Modelle. Jedes mit dem Internet verbundene Gerät sei potenziell gefährdet, da die Kosten für KI-gestützte Angriffe drastisch gesunken seien.
Was bedeutet das für die Zukunft?
Die KI-Industrie steht an einem Wendepunkt. Die Fähigkeiten der Modelle wachsen exponentiell, während Regulierungsmechanismen hinterherhinken. Anthropics Warnung mag selbstservierend erscheinen, aber die zugrundeliegenden Daten sind real. Die Frage ist nicht mehr, ob KI-Systeme sich selbst verbessern können, sondern wann der Punkt erreicht ist, an dem menschliche Kontrolle erheblich erschwert wird. Ob eine koordinierte Pause in einer Branche, die kurz vor den größten Börsengängen ihrer Geschichte steht, realistisch ist, bleibt fraglich.