Tout le contenu du web n'arrive pas jusqu'aux moteurs de recherche. Les robots d'exploration classiques découvrent généralement les nouvelles pages en suivant des liens depuis d'autres sites. Résultat : des contenus précieux comme le manuel d'un lave-linge ou la carte d'un restaurant local peuvent rester invisibles dans les résultats de recherche s'ils ne reçoivent aucun lien entrant.

C'est précisément là qu'intervient le projet commun lancé en juillet par Cloudflare et OpenAI. En exploitant les signaux de trafic du réseau Cloudflare, des centaines de millions de pages qui échappaient aux robots traditionnels sont identifiées et ajoutées à l'index de recherche de ChatGPT.

Cloudflare-and-OpenAI

Des signaux de trafic plutôt que le suivi des liens

Dans la méthode classique, on découvre les nouveaux contenus en suivant les liens d'une page à l'autre. Le nouveau projet s'appuie quant à lui sur les données de trafic indiquant les pages réellement visitées par les utilisateurs. Cela permet de découvrir des contenus qui ne reçoivent aucun lien d'autres sites mais qui répondent pourtant à un besoin concret.

Une seule page problématique ne doit pas condamner tout un domaine

Le fait qu'une seule page d'un site présente une faille de sécurité ne signifie pas que l'ensemble des contenus de ce domaine est malveillant. Évaluer séparément les pages problématiques du reste des contenus peut préserver la visibilité du site dans les résultats de recherche.

Cela dit, les détails techniques de la mise en œuvre concrète de cette approche dans le projet pilote restent à confirmer.

Des ressources d'exploration mieux utilisées

Les robots automatiques peuvent gaspiller des ressources en interrogeant des pages inexistantes ou des contenus redondants. L'analyse des schémas de trafic facilite l'identification de ces pages et peut rendre les processus d'exploration plus efficaces.

Qu'est-ce que cela signifie pour les éditeurs ?

L'augmentation du nombre de pages découvertes peut donner aux éditeurs un tout nouveau canal d'accès à leurs contenus. Encore faut-il noter que figurer dans l'index ne garantit pas automatiquement une hausse du trafic.

Pour mesurer l'impact réel du projet, il faudra suivre de près le trafic redirigé vers les sites via ChatGPT ainsi que les taux de clic. La possibilité pour les propriétaires de sites de contrôler l'accès des robots d'exploration de l'intelligence artificielle constitue également un élément important du processus.