Bald kommunizieren Millionen von KI-Agenten miteinander, kaufen, verhandeln und treffen Entscheidungen. Jedoch weiß bisher niemand, was passiert, wenn diese Systeme sich gegenseitig beeinflussen. Deshalb investiert Google DeepMind jetzt 10 Millionen Dollar in ein völlig neues Forschungsfeld: die Sicherheit von Multi-Agenten-Systemen.
Warum Einzel-Agenten-Tests nicht mehr reichen
Bislang testen Entwickler KI-Modelle isoliert. Außerdem bewerten Sicherheits-Firmen jeden Bot für sich allein. Allerdings ändert sich die Lage dramatisch, wenn Tausende oder Millionen Agenten gleichzeitig agieren. Dabei können völlig neue Verhaltensmuster auftreten, die kein einzelner Test vorhersehen kann.
Experten nennen diese Effekte “emergentes Verhalten”. Konkret bedeutet das: Das Ganze wird gefährlicher als die Summe seiner Teile. Ein einzelner Agent verhält sich unauffällig. Jedoch in der Gruppe entsteht plötzlich etwas Unberechenbares.
Zehn Millionen Dollar für ein neues Forschungsfeld
Google DeepMind hat gemeinsam mit vier Partnern einen Forschungsfonds aufgelegt. Neben dem KI-Labor beteiligen sich Schmidt Sciences, die Cooperative AI Foundation, die britische Agentur ARIA und Googles Wohlfahrtsorganisation Google.org. Zusammen stellen sie bis zu 10 Millionen Dollar zur Verfügung.
Dabei ist das Geld bewusst für externe Forscher gedacht. DeepMind-Forscher Kovid Shah betont ausdrücklich, dass Unabhängige weiter in die Zukunft blicken können als Industrie-Labore. Daher sollen Universitäten und unabhängige Institute die Förderung erhalten.
Vier Forschungsbereiche im Fokus
Die Initiative sucht Projekte in vier Schwerpunktbereichen. Zuerst geht es um Sandboxes und Testumgebungen, in denen Forscher Agenten-Schwärme simulieren können. Zweitens untersuchen Wissenschaftler die Eigenschaften von Agenten-Netzwerken und wie kollektive Fähigkeiten entstehen. Drittens müssen Identitäts-, Reputations- und Commitment-Protokolle auf ihre Haltbarkeit geprüft werden. Schließlich brauchen wir Methoden, um laufende Agenten-Populationen zu überwachen und Schäden einzudämmen.
Welche Risiken entstehen wirklich?
Die Bedrohungen ähneln verstärkten Versionen bekannter Internet-Probleme. Betrug beispielsweise ließe sich durch KI-Agenten automatisieren und massiv skalieren. Ebenso könnten Prompt-Injections einen Agenten in selbstständige Malware verwandeln. Ein einziger bösartiger Befehl in einem Dokument reicht dafür aus.
Akeyless-CTO Refael Angel warnt zudem, dass Agenten alle bisherigen Sicherheitsannahmen brechen. Bisher galt Software als vorhersehbar, weil Menschen sie programmierten. Ein Agent jedoch denkt selbst, improvisiert und lässt sich mit einem Satz umlenken.
Die Uhr tickt: Nur noch wenige Monate
DeepMind-Forscher Shah schätzt, dass Wirtschaft und Gesellschaft noch einige Monate Zeit haben, bevor Agenten flächendeckend eingesetzt werden. Dennoch will er den richtigen Moment nicht verpassen. Deshalb soll die Forschung jetzt anlaufen, bevor die Agenten-Schwärme real werden.
James Fox von Schmidt Sciences warnt ebenfalls. Die digitale Infrastruktur sei entscheidend für die Gesellschaft. Deshalb müsse verhindert werden, dass sie ins Chaos abgleite. Außerdem betont er, dass hypothetische Risiken von gestern heute bereits Realität seien.
Anthropic schlägt Zero-Trust-Ansatz vor
Nicht nur DeepMind warnt vor Agenten-Risiken. Auch Anthropic veröffentlichte kürzlich Richtlinien für den sicheren Einsatz von KI-Agenten. Dabei empfiehlt das Unternehmen einen Zero-Trust-Ansatz aus der Cybersicherheit. Das Grundprinzip: Jedes System gilt als verwundbar, jeder Agent als potenzieller Angreifer.
Diese Haltung markiert einen radikalen Wechsel. Bisher vertrauten Firmen ihren eigenen KI-Systemen blind. Wenn jedoch Millionen Agenten unterschiedlicher Hersteller interagieren, reicht Vertrauen nicht mehr aus. Stattdessen braucht es überprüfbare Sicherheitsmechanismen.
Was AGI mit Agenten-Schwärmen zu tun hat
Einige Forscher glauben, dass künstliche allgemeine Intelligenz nicht aus einem einzigen Supermodell entsteht. Stattdessen könnte ein Schwarmverbund aus vielen Agenten AGI-Fähigkeiten entwickeln. Dabei addieren sich die Einzelfähigkeiten zu mehr als der Summe. Ein solcher Agenten-Hive-Mind wäre jedoch besonders schwer zu kontrollieren.
Deshalb betont die Initiative, dass kein einzelnes Labor allein die Sicherheitsstandards setzen darf. Vielmehr braucht es eine diverse, unabhängige Forschungsgemeinschaft. Nur so entstehen transparente und robuste Regeln für alle. Bewerbungen für die Förderung sind bis zum 8. August 2026 möglich.
