Seit vier Jahrzehnten dominiert ein einziger Algorithmus das Training künstlicher Intelligenz: Backpropagation. Jedes Bild, das Ihr Handy erkennt, jeder Text, den ChatGPT erzeugt, jeder Vorschlag, den Netflix macht, basiert auf diesem mathematischen Verfahren. Doch Neuroscientistinnen zweifeln seit 1989 daran, dass biologische Gehirne überhaupt so funktionieren. Jetzt legt das Tokioter Unternehmen Sakana AI die überzeugendste Demonstration vor, wie neuronale Netze lernen können, wenn sie sich an die Regeln echter Gehirne halten.
Dales Prinzip: Warum KI das Gehirn ignoriert
Das Problem hat einen Namen: Dales Prinzip. Es besagt, dass ein echtes Neuron entweder erregend oder hemmend wirkt, aber niemals beides gleichzeitig. Künstliche Netze ignorieren diese Regel routinemäßig. Ein einziges künstliches Neuron kann positive Verbindungen zu einigen Nachbarn und negative zu anderen haben. Das ist mathematisch bequem und extrem leistungsfähig, aber biologisch unmöglich.
Warum das überhaupt wichtig ist? Neuromorphe Chips, die Rechnen und Speichern vereinen und dabei einen Bruchteil des Stroms von GPUs verbrauchen, kodieren synaptische Gewichte oft als physikalische Größen, die von Natur aus nicht-negativ sind. Lichtintensitäten in photonischen Systemen oder Ladungspegel in analogen Speicherzellen lassen sich nicht einfach negativ machen. Ein Lernalgorithmus, der mit ausschließlich nicht-negativen Gewichten funktioniert, ist also nicht nur biologisch korrekt, sondern direkt auf Hardware anwendbar, die konventionelles Deep Learning nicht verarbeiten kann.
Error Diffusion: Lernen ohne Rücktransport
Das von Sakana AI vorgestellte Verfahren heißt Error Diffusion und basiert auf einer Idee von Kaneko aus dem Jahr 2000. Der Kern: Jede Gewichtsaktualisierung benötigt nur drei Signale, nämlich die Aktivität des sendenden Neurons, die Ableitung der Aktivierungsfunktion des empfangenden Neurons und ein einziges globales Fehlersignal. Keine transponierten Gewichtsmatrizen, keine schichtweise Gradientenberechnung, kein gewaltiger Rechenaufwand für den Rückwärtsdurchlauf.
Das Team um Yutaro Yamada erweiterte diesen Ansatz mit drei gezielten Innovationen. Erstens eine Dual-Stream-Architektur, die jedes Layer in einen erregenden und einen hemmenden Datenstrom aufteilt. Die Kreuzverbindungen zwischen beiden Strömen sind durch feste Vorzeichen hemmend, alle lernbaren Gewichte bleiben nicht-negativ. Zweitens ein Modulo-Fehlerrouting, das jedem versteckten Neuron einen festen Ausgangskanal zuordnet. Drittens schichtspezifische Sigmoid-Breiten, batch-zentrierte Fehlersignale und eine asymmetrische Initialisierung, die erregende Gewichte 1,5-fach und hemmende 0,5-fach skaliert.
96,7 Prozent auf MNIST, 61,7 Prozent auf CIFAR-10
Die Ergebnisse sind bemerkenswert. Auf dem MNIST-Benchmark erreicht Error Diffusion 96,7 Prozent Genauigkeit. Auf dem anspruchsvolleren CIFAR-10-Datensatz kommt es auf 61,7 Prozent. Das ist der beste Wert, der jemals mit einem Dale-konformen Lernalgorithmus auf convolutionalen Netzen erreicht wurde, und der Abstand zur nächstbesten methode ohne Backpropagation beträgt 7,4 Prozentpunkte auf CIFAR-10.
Zugleich macht der Forschungsgruppe klar, wie viel biologische Korrektheit aktuell kostet. Standard-Backpropagation erreicht auf CIFAR-10 über 95 Prozent. Der Abstand von 61,7 zu 95-plus Prozent ist die sogenannte Biology Tax, also der Preis, den man zahlt, wenn man die Architektur an die Regeln echter Gehirne anpasst.
Warum das für die Praxis wichtig ist
Drei Anwendungsfelder machen die Ergebnisse besonders relevant. Erstens neuromorphe und photonische Hardware, die nicht-negative synaptische Gewichte nativ verarbeiten kann. Zweitens eine implizite Sparsamkeit: Nach dem Training liegen 37,3 Prozent der Gewichte am Boden nahe Null, hemmende Kreuzverbindungen werden zu 68,8 Prozent beschnitten. Das bedeutet kostenlose Modellkomprimierung ohne zusätzlichen Pruning-Schritt. Drittens könnte der dedizierte hemmende Strom kontinuierliches und offenes Lernen erleichtern, weil er große Gradientenausreißer strukturell dämpft.
Außerdem integrierte das Team Error Diffusion mit Proximal Policy Optimization für Reinforcement Learning. Unter dem Namen ED-PPO schlägt der Algorithmus auf HalfCheetah den klassischen Backpropagation-Ansatz deutlich, mit 5494 gegenüber 3520 Punkten. Das zeigt, dass biologisch korrektes Lernen nicht nur eine akademische Kuriosität ist, sondern auf bestimmten Aufgaben tatsächlich bessere Ergebnisse liefert.
Die Biology Tax: Lohnt sich der Preis?
Sakana AIs Forschung ändert die Perspektive auf eine fundamentale Frage. Bisher galt die biologische Unmöglichkeit von Backpropagation als theoretisches Problem ohne praktische Konsequenz. Jetzt gibt es einen konkreten Preis: 7,4 Prozentpunkte auf CIFAR-10. Das ist viel, aber es ist auch das erste Mal, dass dieser Preis überhaupt messbar ist.
Die Ablationsstudie offenbart zudem eine Überraschung. Die relative Bedeutung der drei Innovationen kehrt sich zwischen MNIST und CIFAR-10 um. Was auf dem einfachen Benchmark entscheidend ist, spielt auf dem komplexen kaum eine Rolle, und umgekehrt. Das bedeutet, dass der Engpass beim Kreditzuweisungsproblem aufgabenabhängig ist und von Einzel-Benchmarks allein nicht erfasst wird.
Wenn neuromorphe Chips die Energieeffizienz versprechen, die ihre Entwickler behaupten, und wenn sich die Biology Tax durch bessere Architekturen und mehr Rechenleistung weiter verringern lässt, dann könnte Error Diffusion der Anfang einer Entwicklung sein, die KI-Hardware grundlegend verändert. Bis dahin bleibt Backpropagation der König, aber das Gehirn hat einen vernünftigen Herausforderer.
