Von Cloudflare kommt ein epochaler Wendepunkt: der Gigant der Internetinfrastruktur blockiert die wichtigsten AI-Crawler, um Online-Inhalte zu schützen. Diese Entscheidung definiert das Gleichgewicht zwischen Erstellern, Technologieunternehmen und Verbrauchern neu und verspricht, das Management und den Schutz von Daten im Web zu revolutionieren.
Summary
Kampf gegen AI-Crawler: die Entscheidung von Cloudflare
Cloudflare hat am ersten Juli eine Offensive gegen die führenden Unternehmen der künstlichen Intelligenz gestartet, die Daten von Websites ohne Genehmigung sammeln. Wie das Unternehmen selbst erklärt hat, werden die AI crawlers standardmäßig auf allen neuen Websites, die Cloudflare verwenden, blockiert, es sei denn, die Eigentümer erteilen eine ausdrückliche Genehmigung. In der Vergangenheit mussten die Website-Betreiber aktiv die AI-Bots von der Datensammlung ausschließen.
„`htmlDiese Umkehrung der Logik schützt über 20% des Webs, den von Cloudflare-Kunden abgedeckten Anteil, und reagiert auf die zunehmenden Berichte über Verlangsamungen und Störungen, die durch außergewöhnliche Flüsse automatisierter Anfragen von Bots großer Namen der KI wie GPTBot von OpenAI und ClaudeBot von Anthropic verursacht werden.
„`Auswirkungen von AI-Crawlern: die Zahlen des Phänomens
Das Verkehrsaufkommen, das von den AI crawling bots erzeugt wird, hat beeindruckende Ausmaße erreicht. Zum Beispiel hat GoogleBot festgestellt, dass Vercel, ein Cloud-Hosting-Dienst, über 4,5 Milliarden Anfragen pro Monat von diesen Softwareprogrammen erhält. Im Gegensatz zu normalen Suchmaschinen-Crawlern behandeln die AI-Bots die Server aggressiv, indem sie dieselben Seiten innerhalb weniger Stunden mehrmals besuchen oder die Websites mit Hunderten von Anfragen pro Sekunde bombardieren.
Das Ergebnis? Langsamere Websites, Zugangsprobleme für echte Nutzer und ein weit verbreitetes Gefühl, dass Inhalte ohne Regeln oder Vergütungen regelrecht „extrahiert“ werden. Zahlreiche Verlage und Unternehmen, von The Associated Press über Condé Nast bis hin zu Ziff Davis, haben die Praxis der massenhaften und unautorisierten Sammlung durch die großen Tech-Unternehmen der KI angeprangert.
Neue Regeln und Technologien zum Schutz der Inhalte
Der Schritt von Cloudflare beschränkt sich nicht auf ein oberflächliches Verbot. Das Unternehmen hat nämlich die Nutzung von Machine Learning und Verhaltensanalyse angekündigt, um auch die sogenannten „Shadow Scrapers“ zu entdecken, getarnte Bots, die versuchen, konventionelle Sperren zu umgehen. Auf diese Weise werden nicht nur die deklarierten Crawler, sondern auch die ausgefeilteren Versuche des Scraping abgefangen.
Außerdem müssen AI-Anbieter jetzt um Erlaubnis bitten, bevor sie auf die Daten zugreifen können, und dabei die Nutzungsziele klar angeben, sei es für das Training von Algorithmen oder für einfache Suchfunktionen. Cloudflare gibt den Publishern somit die Möglichkeit zurück, zu entscheiden, wer mit ihren Informationen interagieren darf.
Die Proteste der wichtigsten Verlagsgruppen haben die Entstehung dieser neuen Politik begünstigt. Die aktuellen Ausschlusssysteme, wie das traditionelle robots.txt, werden oft von AI-Bots ignoriert, die dazu neigen, das Web zu „minen“, ohne die Regeln des Respekts für digitales geistiges Eigentum zu befolgen.
Pay Per Crawl: auf dem Weg zu einem neuen Wirtschaftsmodell für Inhalte
Die von Cloudflare unterzeichnete Revolution bringt auch eine weitere Neuheit mit sich: das Programm Pay Per Crawl. Dieses System, das sich derzeit in der privaten Beta-Phase befindet, ermöglicht es den Herausgebern, Zugangspreise für diejenigen festzulegen, die ihre Inhalte zu AI-Trainingszwecken nutzen möchten. Der Zugang wird nur gegen Bezahlung gewährt oder andernfalls verweigert.
Aus technischer Sicht wird Cloudflare den Code HTTP 402 „Payment Required“ verwenden, der an nicht autorisierte Crawler zurückgegeben wird. Eine potenziell effektive Lösung, die dank ihrer Kompatibilität mit bestehenden Websystemen bereits einsatzbereit ist.
Die Reaktionen aus der KI-Welt und die regulatorischen Knotenpunkte
Die Entscheidung von Cloudflare beeinflusst direkt die AI-Unternehmen, die bisher zögerlich waren, Lizenzen oder Vergütungen zu zahlen. Nicholas Thompson, CEO von The Atlantic, hat betont, dass die Gesellschaften bisher ungestraft handeln konnten, während sie jetzt verhandeln und die Eigentumsrechte der Inhalte anerkennen müssen. Andererseits warnen einige Führungskräfte der Technologiebranche, wie Nick Clegg von Meta, dass die Einführung strenger Auflagen das Wachstum und die Innovation im AI-Sektor gefährden könnte.
Die Debatte erstreckt sich auch auf die regulatorische Ebene. Ein Bericht des Copyright Office hat anerkannt, dass bestimmte Anwendungen generativer Technologien als „transformativ“ angesehen werden können. Dennoch kann die massenhafte Sammlung ohne Zustimmung nicht als fair use betrachtet werden. Eine Position, die schwerwiegende institutionelle Auswirkungen hatte, einschließlich der sofortigen Ersetzung der Verantwortlichen des Amts für Geistiges Eigentum durch die Trump-Administration.
Die Zukunft des Schutzes von Online-Inhalten
Die Initiative von Cloudflare gestaltet das Gleichgewicht zwischen denen, die Inhalte online erstellen, und denen, die sie nutzen, neu. Die Möglichkeit, den Zugang zu Daten zu blockieren und zu monetarisieren, bietet den Publishern eine echte Kontrolle darüber, wo und wie ihre Werke verwendet werden. Infolgedessen müssen viele AI-Unternehmen ihre Strategien und Datenakquisitionsprozesse neu organisieren, was zu mehr Transparenz und Zusammenarbeit mit der Verlagswelt führt.
Während sich das digitale Ökosystem an diesen Paradigmenwechsel anpasst, ist es wahrscheinlich, dass andere große Akteure im Infrastrukturbereich dem Beispiel von Cloudflare folgen werden. Auf diese Weise kann eine neue Ära im Schutz der digitalen Rechte eingeleitet werden, in der diejenigen, die Wert schaffen, gefördert und geschützt werden. Es bleiben Fragen zu den Zeiten und Modalitäten der Einführung des Pay Per Crawl-Modells und zu den Auswirkungen, die es auf die Entwicklung der künstlichen Intelligenzen haben wird.
In einem sich ständig wandelnden Kontext wird es entscheidend, die Entwicklung der strategien anti-crawler AI zu überwachen und aktiv an der Debatte teilzunehmen, um für alle beteiligten Akteure von Bedeutung zu sein. Der Krieg gegen unautorisierte Bots könnte nur der Anfang einer neuen Saison für die Aufwertung des Webs als kollektives und nachhaltiges Gut sein.
