Nicht alles, was im Netz steht, findet auch seinen Weg in die Suchmaschinen. Klassische Crawler entdecken neue Seiten meist, indem sie Links von anderen Websites folgen. Inhalte wie eine Waschmaschinen-Anleitung oder die Speisekarte eines lokalen Restaurants bleiben deshalb unsichtbar, wenn niemand auf sie verlinkt.

Hier setzt ein gemeinsames Projekt von Cloudflare und OpenAI an, das im Juli gestartet wurde. Mithilfe von Traffic-Signalen aus dem Cloudflare-Netz werden hunderte Millionen Seiten identifiziert, die herkömmlichen Crawlern entgangen sind, und in den Suchindex von ChatGPT aufgenommen.

Cloudflare-and-OpenAI

Beim klassischen Verfahren werden Links von einer Seite zur anderen verfolgt, um neue Inhalte zu finden. Das neue Projekt stützt sich stattdessen auf Verkehrsdaten, die zeigen, welche Seiten Nutzer tatsächlich aufrufen. So lassen sich auch Inhalte entdecken, die von keiner anderen Website verlinkt werden, aber ein konkretes Bedürfnis erfüllen.

Eine problematische Seite muss nicht die ganze Domain belasten

Wenn eine einzelne Seite einer Website eine Sicherheitslücke aufweist, heißt das nicht, dass alle Inhalte der Domain schädlich sind. Werden problematische Seiten gesondert vom restlichen Inhalt bewertet, kann die Sichtbarkeit der Website in den Suchergebnissen erhalten bleiben.

Allerdings müssen die technischen Details, wie dieser Ansatz im Pilotprojekt genau umgesetzt wird, noch gesondert verifiziert werden.

Effizientere Crawl-Ressourcen

Automatisierte Crawler verschwenden Ressourcen, wenn sie Anfragen an nicht existierende Seiten oder sich wiederholende Inhalte senden. Die Analyse von Traffic-Mustern kann solche Seiten leichter identifizieren und Crawl-Prozesse effizienter machen.

Was bedeutet das für Publisher?

Eine wachsende Zahl entdeckter Seiten könnte Publishern einen völlig neuen Zugangskanal zu ihren Inhalten eröffnen. Die Aufnahme in den Index bedeutet jedoch nicht automatisch mehr Besucher.

Um die tatsächliche Wirkung des Projekts zu messen, muss genau beobachtet werden, wie viel Traffic über ChatGPT auf die Websites geleitet wird und welche Klickraten dabei entstehen. Auch dass Website-Betreiber die Kontrolle über den Zugriff von KI-Crawlern behalten, ist ein wichtiger Teil des Prozesses.