Cloudflare stellt KI-Firmen ein Ultimatum: Ab dem 15. September 2026 blockiert der Internet-Infrastrukturgigant sogenannte gemischte Crawler auf werbefinanzierten Seiten standardmäßig. Wer Inhalte für KI-Training und KI-Agenten absaugt, muss künftig bezahlen oder wird ausgesperrt. Der Schritt könnte das Verhältnis zwischen KI-Unternehmen und Publishern nachhaltig verändern.
Was Cloudflare genau ändert
Bisher war es gängige Praxis, dass KI-Crawler Webinhalte kostenlos harvesten. Cloudflare dreht nun den Spieß um: Statt freier Zugang als Standard gilt ab September Sperrung als Standard. Crawler, die Suche, KI-Training und Agenten-Nutzung vermischen, werden auf Seiten mit Werbung automatisch blockiert. Nur wer die Nutzungszwecke sauber trennt, kommt noch durch.
Zudem wandelt Cloudflare sein bestehendes Pay-Per-Crawl-Modell zu Pay-Per-Use um. Das heißt: Publisher werden nicht mehr nur bezahlt, wenn ein Crawler ihre Seite aufruft, sondern auch dann, wenn ihr Inhalt in einer KI-Antwort auftaucht. Erste Partner sind Ceramic.ai und You.com.
Warum Cloudflare jetzt handelt
Der Auslöser ist eine Zahl, die Cloudflare-Chef Matthew Prince auf den Punkt bringt: Mehr als die Hälfte des gesamten Webverkehrs stammt inzwischen von Bots, nicht von Menschen. Dieser Meilenstein wurde Jahre früher erreicht als erwartet. Zudem zeigen Daten, dass über 50 Prozent der KI-Crawler-Zugriffe auf unveränderte Seiten entfallen. Die Bandbreite verschwenden, ohne dass Publisher etwas davon haben.
Dazu kommt ein strukturelles Ungleichgewicht. Google etwa greift laut Cloudflare auf etwa doppelt so viele Daten zu wie andere KI-Unternehmen, weil sein Googlebot Suche und KI-Training in einem Crawler vereint. Wer ihn blockiert, verschwindet aus den Suchergebnissen. Cloudflare kritisiert genau diese Vermischung.
Die Folgen für das offene Web
Für Publisher ist der Schritt überfällig. Googles KI-Overviews kürzen die ausgehenden Klicks um rund 40 Prozent, wie eine Feldstudie belegt. Nutzer bleiben bei der Antwort, besuchen die Quelle nicht mehr. Wenn dieses Modell nicht repariert wird, kollabiert die Finanzierung des offenen Web, warnen Ökonomen.
Allerdings ist Cloudflare nur ein Zwischenhändler. Google und Apple bieten bereits Opt-out-Crawler an, die die Sperre umgehen könnten. Regulierer gehen das Problem von einer anderen Seite an: Großbritannien zwingt Google, Publisher den Opt-out aus KI-Suchergebnissen zu ermöglichen, ohne dass ihr Ranking leidet. Nachrichtenverlage klagen gegen OpenAI wegen Urheberrechtsverletzung.
Was bedeutet das für KI-Unternehmen
Für KI-Firmen ändert sich die Spielregel grundlegend. Wer Inhalte fürs Modelltraining oder für KI-Agenten braucht, muss künftig Lizenzverträge aushandeln oder Pay-Per-Use-Vereinbarungen treffen. Kostenlose Datenabgründe werden auf werbefinanzierten Seiten zur Ausnahme. Cloudflare-Chef Prince spricht von einem Wendepunkt: Die Zeit, in der KI-Unternehmen das Web als kostenlose Daten-Tankstelle betrachten konnten, geht zu Ende.
Allerdings gibt es auch Grenzen. Cloudflare kontrolliert einen großen Teil des Webverkehrs, aber nicht alles. Wer über andere Infrastrukturanbieter oder direkt crawled, fällt nicht unter die Regelung. Zudem können Website-Besitzer die Standardeinstellungen jederzeit anpassen und Crawler wieder zulassen. Das bedeutet: Der Schutz gilt nur für diejenigen, die sich aktiv dafür entscheiden.
