Cloudflare und OpenAI: Ein Prozent des Netzwerks findet Hunderte Millionen Seiten

Der Netzwerkinfrastruktur-Anbieter Cloudflare und der KI-Entwickler OpenAI haben am 15. Oktober 2026 Zwischenergebnisse eines gemeinsamen Discovery-Pilots zur Web-Indexierung vorgelegt. Nach Angaben beider Unternehmen konnten über Signale aus rund einem Prozent des globalen Cloudflare-Netzwerks hunderte Millionen zuvor unbekannter Webseiten entdeckt und erfasst werden. Eine unabhängige Prüfung dieser Zahlen liegt bislang nicht vor.

Die Ankündigung des Projekts erfolgte durch Matthew Conroy und Jack Galilee seitens Cloudflare sowie Henry Aspegren und James Balfour für OpenAI. Das Ziel des Testlaufs besteht darin, die Auffindbarkeit von Webinhalten für Suchfunktionen effizienter zu gestalten. Dabei übernimmt Cloudflare die Bereitstellung netzwerkbasierter Discovery-Signale, während OpenAI die Relevanz der ermittelten Seiten bewertet und ein entsprechendes Ranking vornimmt.

Drei Signaltypen steuern die Erfassung

Im Rahmen des Pilotbetriebs kommen drei verschiedene Signaltypen zum Einsatz: direkte Discovery-Meldungen zu neuen Seiten, Hinweise auf inhaltliche Änderungen sowie eine Vorfilterung. Diese Vorabprüfung zielt darauf ab, Duplikate, Weiterleitungen und nicht mehr erreichbare URLs frühzeitig auszusortieren. Durch diese Bereinigung soll der Aufwand für Web-Crawler spürbar verringert werden.

Wer sich mit dem Einsatz moderner Webtechnologien und künstlicher Intelligenz befasst, muss auch die rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Bedrohungen Unternehmer durch neue KI-Gesetze jetzt kennen müssen. Kostenlosen Report zu KI-Gesetzen und Cyberrisiken anfordern

Zusätzlich erproben die Projektpartner Signale für kompromittierte Einzelseiten, beispielsweise bei gefälschten Anmeldeseiten. Solche seitenbezogenen Sicherheitskennzeichnungen ermöglichen es, betroffene Unterseiten gezielt zu isolieren, ohne die gesamte Domain mit einer Abstrafung zu belegen. Angaben zur Genauigkeit dieser Sicherheitsfilter machten die beteiligten Unternehmen bisher nicht.

Metadaten bleiben vom Modelltraining getrennt

Beide Konzerne hoben hervor, dass die übermittelten Signale keine Zugriffsrechte auf geschützte Inhalte einräumen. Die Informationen beschränken sich auf reine Metadaten zur Webseiten-Entdeckung und werden nicht für das Training von KI-Modellen verwendet. Auch Klickdaten der Nutzer seien nicht Teil des Testbetriebs.

Der für die Abfrage zuständige OAI-SearchBot agiere zudem unabhängig vom allgemeinen Trainings-Crawler GPTBot und halte sich strikt an die Vorgaben der robots.txt-Dateien der jeweiligen Webseitenbetreiber.

Die rasante Entwicklung von KI-Systemen führt dazu, dass Unternehmen ihre Compliance-Strategien grundlegend anpassen müssen. Ein kostenloser Download verschafft Ihnen den nötigen Überblick über Fristen, Pflichten und Risikoklassen, den Ihre Rechts- und IT-Abteilung jetzt dringend braucht. EU AI Act Umsetzungsleitfaden kostenlos herunterladen

Offene Fragen zu Reichweite und Nutzen

Trotz der gemeldeten Zwischenstände bleiben wesentliche Parameter des Versuchs unklar. Weder der genaue Messzeitraum noch die Kriterien für die Auswahl des einprozentigen Netzwerkausschnitts wurden offengelegt; auch die Freiwilligkeit der Teilnahme von Website-Betreibern ist nicht näher definiert. Es fehlen zudem belastbare Vergleiche mit einer Kontrollgruppe, weshalb Nachweise über qualitativ bessere Antworten, tatsächliche Entlastungen beim gesamten Crawling-Aufwand oder Traffic-Zuwächse für Publisher noch ausstehen.

Eine Aufnahme in den Index bedeutet den Angaben zufolge nicht automatisch, dass Webseiten künftig häufiger in ChatGPT zitiert werden oder zusätzliche Besucherströme erhalten. Für eine spätere Phase des Projekts kündigten die Partner an, die gezielte Seitenauswahl weiter zu verbessern, Signale zu Inhaltsänderungen schneller zu verarbeiten und die Auswirkungen auf erfasste Seiten nach der Discovery systematisch zu messen.