Cloudflare hat seinen neuesten Jahresbericht vorgestellt und darin überraschende Einblicke in das Internetjahr 2025 geliefert – von der Entwicklung des Datenverkehrs bis hin zum spannenden Wettlauf zwischen Suchmaschinen- und KI-Crawlern. Besonders interessant: Googlebot hat 200-mal mehr Seiten durchsucht als PerplexityBot und bleibt damit der tonangebende Akteur beim maschinellen Erkunden des Webs. Die Veröffentlichung wirft einige grundlegende Fragen darüber auf, wie sich KI‑Datensammlung, Crawling und Transparenz im Netz entwickeln.
Die Dominanz von Googlebot im KI-Zeitalter
Die Analyse zeigt: Kein anderer Crawler bewegt sich so fleißig durchs Web wie der von Google. Im Oktober und November 2025 rief Googlebot laut Cloudflare rund 11,6 % aller untersuchten Seiten ab. Zum Vergleich: OpenAIs GPTBot kam gerade einmal auf 3,6 %, Bingbot auf 2,6 % und PerplexityBot auf magere 0,06 %. Diese Zahlen sind bemerkenswert, weil sie eine Dynamik verdeutlichen, die vielen Website‑Betreibern Kopfzerbrechen bereitet. Einerseits möchte man die Sichtbarkeit in der Google‑Suche behalten, andererseits ungern unkontrolliert Trainingsdaten für Googles KI beisteuern. Da beides über dieselbe IP‑Signatur läuft, lässt sich kaum trennen, ob gerade der Index oder ein Sprachmodell gefüttert wird. Eine echte Zwickmühle, die Cloudflare treffend beschreibt: Wer Google beim AI‑Training blockiert, riskiert sein Ranking.
Ich kenne etliche Publisher, die genau deswegen halbherzige robots.txt‑Regeln nutzen: Sie sperren OpenAI und Anthropic rigoros aus, lassen Google aber gewähren – meist aus purer Notwendigkeit.
Wie viel KI‑Traffic steckt wirklich im Netz?
2025 machten reine AI‑Bots rund 4,2 % aller HTML‑Anfragen aus, also Seitenabrufe jenseits des menschlichen Surfens. Googlebot allein stellte sogar knapp 4,5 % – mehr als sämtliche anderen KI‑Bots zusammen. Besonders auffällig war ein Anstieg im Frühsommer, als Cloudflare den höchsten Peak bei fast 6 % registrierte. Man kann sich vorstellen, wie viele Terabyte an Text, Code und Metadaten dabei in neuronale Systeme flossen. Gleichzeitig stieg aber auch wieder der Anteil menschlicher Zugriffe und überholte gegen Ende des Jahres leicht die herkömmlichen Nicht‑KI‑Bots. Das zeigt, dass das Web noch längst nicht vollständig von Maschinen dominiert wird – auch wenn der Trend eindeutig in diese Richtung zeigt.
Crawl‑to‑Refer‑Ratio – die neue Kennzahl
Interessant ist das Verhältnis zwischen Abrufen und echten Weiterleitungen von Nutzern – Cloudflare nennt das Crawl‑zu‑Refer‑Ratio. Es misst, wie häufig ein Bot Inhalte abruft, ohne anschließend Besucher über Such- oder Chat‑Funktionen auf die Ursprungsseite zu schicken. Bei Anthropic lag dieser Wert teilweise bei astronomischen 100 000 : 1. OpenAI pendelte um 3 700 : 1, während Perplexity immerhin unter 200 : 1 blieb. Im Vergleich dazu erscheint Googles Suchcrawler mit seinen 3–30 : 1 geradezu bescheiden. Sprich: Google crawlt viel, sorgt aber zumindest in gewissem Maß für echten Traffic zurück. Die meisten KI‑Dienste dagegen konsumieren Inhalte fast ausschließlich passiv. Für Verlage bedeutet das: Viele Maschinen lesen mit, aber kaum jemand bringt neue Leser.
Warum “User‑Action‑Crawling” plötzlich explodiert
Ein besonders dynamischer Bereich ist das sogenannte User‑Action‑Crawling. Gemeint sind Abrufe, die entstehen, wenn Nutzer Chatbots konkrete Fragen stellen – und der Bot daraufhin Seiten im Hintergrund besucht. Laut Cloudflare wuchs dieser Traffic im Jahr 2025 um das Zwanzigfache. Die Kurve verlieh dem ChatGPT‑User‑Agent eine neue Bedeutung: Seine Aktivität folgt klaren Wochentagsmustern, bricht im Sommer ab (Ferienzeit) und zieht im Herbst wieder an. Das verrät, dass generative KI längst fester Bestandteil des Arbeits‑ und Studienalltags geworden ist. Ich finde das faszinierend: Statt klassischer Suchanfragen beeinflussen nun dialogische Interaktionen den Crawl‑Rhythmus des Netzes.
Was Website‑Betreiber blockieren – und was sie dulden
Bei einer Auswertung tausender robots.txt-Dateien stellte Cloudflare fest: KI‑Bots sind die am häufigsten blockierten User‑Agents. Vor allem GPTBot, ClaudeBot und CCBot wurden komplett ausgesperrt. Ganz anders sieht es bei Googlebot und Bingbot aus. Diese Bots werden lediglich teilweise beschränkt – meist bei Login‑ oder Admin‑Bereichen, nicht bei Inhalten. So entsteht ein unausgesprochenes Machtgefälle: Die klassischen Suchbots behalten Sonderrechte, die neuen KI‑Crawler dagegen sind unerwünscht. Verständlich, schließlich liefern sie bisher kaum Gegenwert.
Neue Gefahrenlage: Zivilgesellschaft im Visier
Eine andere Seite des Reports betrifft die IT‑Sicherheit. Zum ersten Mal ist der Bereich „People & Society“ – also NGOs, religiöse Einrichtungen, Bibliotheken und gemeinnützige Organisationen – das meistangegriffene Segment. Ihr Anteil an den abgewehrten Angriffen stieg binnen eines Jahres von unter 2 % auf über 23 %. Cloudflare ordnet viele dieser Seiten seinem Projekt Galileo zu, das Non‑Profit‑Akteuren kostenlosen Schutz bietet. Erfreulich zwar, dass solche Initiativen existieren, doch die Zahlen zeigen, wie stark auch kleinere Organisationen inzwischen unter digitalen Angriffen leiden. Auffällig: Glücksspielseiten, im Vorjahr noch Spitzenreiter, verloren mehr als die Hälfte ihres Attackentraffics. Offenbar verlagern sich Cyberkampagnen zunehmend auf ideell geprägte Ziele.
Weitere Erkenntnisse aus dem Bericht
Neben den Bots und Sicherheitsdaten liefert Cloudflare noch einige bezeichnende Details:
- Der globale Internet‑Traffic wuchs 2025 um 19 %. Besonders nach August schoss das Datenvolumen deutlich in die Höhe.
- Post‑Quantensicherheit schützt mittlerweile mehr als die Hälfte aller menschlichen Zugriffe
- ChatGPT verteidigt seine Spitzenposition unter den generativen AI‑Diensten, gefolgt von Google Gemini, Windsurf AI, Grok/xAI und DeepSeek.
- Starlink verdoppelte seinen Datenverkehr durch neue Länderstarts.
- Etwa die Hälfte aller größeren Internet‑Ausfälle entstand durch staatlich angeordnete Netzabschaltungen – Stromprobleme und Kabelbrüche folgten mit weitem Abstand.
- In punkto Internetqualität führt Spanien mit durchschnittlichen Downloadraten von über 300 Mbit/s das weltweite Ranking an.
Zusammengefasst: Das Netz wächst, wird sicherer – aber auch ungleicher verteilt. Regionen mit liberaler Netzpolitik und stabiler Energieinfrastruktur profitieren überproportional.
Was das für dich als Website‑Betreiber bedeutet
Diese Statistiken sind mehr als akademische Spielerei. Sie beeinflussen, wie du künftig über Crawling, Indexierung und Datenschutz nachdenken solltest. Der wohl wichtigste Punkt: Googles Doppelfunktion. Da derselbe Bot sowohl für die klassische Suche als auch für KI‑Training eingesetzt wird, kannst du praktisch nicht entscheiden, welchem Zweck du zustimmst. Und das verleiht Google einen Vorteil, mit dem kleinere KI‑Anbieter kaum konkurrieren können. Sie respektieren meist deine robots.txt – verlieren dadurch aber wertvolle Daten. So entsteht eine Schieflage, die langfristig ganze Branchen verändern könnte.
Auch das Verhältnis zwischen „Crawl“ und „Refer” ist nicht bloß Statistik. Es gibt dir Hinweise darauf, welche Plattformen Inhalte nur verbrauchen und welche tatsächlich Besucher liefern. Wer also merkt, dass der eigene Server stark von AI‑Bots frequentiert wird, aber kein organischer Traffic zurückkommt, sollte über Drosselung, IP‑Blocking oder Tokenpflichten nachdenken.
Ein Wort zu den Angriffsdaten
Wenn du im Non‑Profit‑Umfeld arbeitest, verdient eine andere Zahl deine Aufmerksamkeit: Die Zunahme der Attacken auf zivilgesellschaftliche Organisationen. Sie macht deutlich, wie notwendig Basisschutz ist – von sicheren Passwörtern über Zwei‑Faktor‑Authentifizierung bis hin zu DDoS‑Mitigation‑Tools. Cloudflare liefert hier einen guten Blick hinter die Kulissen. Was mich persönlich überrascht hat: Die identifizierten Peaks im März und Juli decken sich stark mit politischen Ereignissen und Wahlperioden verschiedener Länder. Offenbar lässt sich Cyber‑Aggression inzwischen fast wie ein Stimmungsbarometer messen.</
