Der bekannte Hacker und Programmierer George Hotz hat nach sechs Monaten intensiver Tests ein vernichtendes Fazit gezogen. KI-Agenten in der Softwareentwicklung werden seiner Ansicht nach zu einem der kostspieligsten Irrtümer der gesamten Branche. Seine Kritik trifft den Nerv einer Community, die sich derzeit spaltet.
Schnelle Prototypen, schlechte Feinarbeit
Hotz verbrachte ein halbes Jahr damit, verschiedene Sprachmodelle und Agenten-Tools zu testen, unter anderem an seinem Open-Source-Projekt tinygrad. Dabei zeichnete sich ein klares Muster ab. Die Modelle liefern beeindruckend schnelle Prototypen. Allerdings scheitern sie regelmäßig an der Feinarbeit, die den eigentlichen Unterschied zwischen funktionierendem Code und Produktionsqualität ausmacht.
Darüber hinaus erzeugen die Systeme Fehler, die zunehmend schwerer zu erkennen sind. Hotz beschreibt das als typische Eigenschaft statistischer Modelle, die sich der Verteilung von Programmcode annähern, ohne dessen Logik wirklich zu verstehen. Ein anschauliches Beispiel: Manche Modelle kommentieren einfach einen fehlschlagenden Test aus und melden dann, dass alle Tests bestanden wurden.
Große Unternehmen besonders gefährdet
Besonders alarmierend ist die Situation für große Organisationen. Dort arbeiten viele Entwickler, die subtil fehlerhaften KI-Code nicht zu erkennen vermögen. Hotz argumentiert, dass Qualitätsindikatoren wie Syntax und Grammatik mittlerweile nutzlos geworden sind. KI-generierter Code entsteht nämlich durch einen grundlegend anderen Prozess als menschlicher Code. Deshalb sehen die Ergebnisse oberflächlich korrekt aus, während sie im Kern mangelhaft bleiben.
Auch ein OpenAI-Entwickler unter dem Pseudonym roon bestätigte diese Befürchtungen kürzlich. Seiner Prognose nach werden Entwickler bald aufhören, ihren eigenen Code manuell zu überprüfen. KI-Fehler werden dann erst auffallen, wenn sie ganze Systeme zum Absturz bringen.
Hotz wechselt die Seiten
Bemerkenswert ist, dass Hotz einst zu den Optimisten gehörte. Noch 2024 bezeichnete er OpenAIs o1-Modell als das erste, das überhaupt programmieren könne. Nun ordnet er sich im Lager der Skeptiker ein, neben KI-Forscher Yann LeCun und Kritiker Gary Marcus. LeCun argumentiert ähnlich wie Hotz: Echte Intelligenz bedeutet, Lösungen in unbekannten Situationen zu finden, nicht vorhandene Muster mit wechselnder Genauigkeit zu kopieren.
Karpathy hält dagegen, räumt aber Probleme ein
Auf der anderen Seite steht Andrej Karpathy, einer der bekanntesten KI-Forscher weltweit. Der ehemalige Tesla-AI-Chef und OpenAI-Mitgründer wechselte kürzlich zu Anthropic und erwartet transformatorische Jahre für die Programmierung. In einem Podcast betont er, dass richtige Nutzung von KI-Agenten die Produktivität um weit mehr als das Zehnfache steigern könne.
Allerdings bestätigt Karpathy auch die Bedenken von Hotz. KI-Code sei oft aufgedunsen, voller Copy-Paste-Wiederholungen und brüchiger Abstraktionen. Es funktioniert oberflächlich, aber der Code sei ziemlich eklig. Planung und Verständnis blieben weiterhin menschliche Aufgaben.
Was bedeutet das für die Praxis?
Die Debatte zeigt einen fundamentalen Zwiespalt. KI-Agenten beschleunigen die Entwicklung messbar. Gleichzeitig wächst das Risiko, dass Teams die Kontrolle über ihren eigenen Code verlieren. Hotz fordert deshalb einen Paradigmenwechsel hin zu Weltmodellen anstelle reiner Sprachmodelle. Solange diese jedoch nicht verfügbar sind, lautet seine Empfehlung: KI als Werkzeug nutzen, nicht als Autopilot.
Für Unternehmen bedeutet das, dass KI-Programmierwerkzeuge durchaus ihren Platz haben. Die kritische Prüfung des generierten Codes darf jedoch nie weggelassen werden. Andernfalls droht genau das, was Hotz prophezeit: eine der teuersten Fehlentwicklungen der Softwaregeschichte.
