Non tutto il contenuto del web arriva ai motori di ricerca. I crawler tradizionali trovano le nuove pagine seguendo i link da altri siti: per questo contenuti preziosi come il manuale di una lavatrice o il menù di un ristorante locale possono restare invisibili nei risultati di ricerca quando nessun sito li collega.

È qui che entra in gioco il progetto congiunto lanciato a luglio da Cloudflare e OpenAI: usando i segnali di traffico sulla rete di Cloudflare, centinaia di milioni di pagine sfuggite ai crawler tradizionali vengono individuate e aggiunte all'indice di ricerca di ChatGPT.

Cloudflare-and-OpenAI

Il metodo classico consiste nel seguire i link da una pagina all'altra per scoprire nuovi contenuti. Il nuovo progetto si basa invece sui dati di traffico, cioè sulle pagine che gli utenti visitano realmente. In questo modo possono essere scoperti anche contenuti che non ricevono link da altri siti ma rispondono a un'esigenza concreta.

Una singola pagina problematica non deve compromettere l'intero dominio

Il fatto che una singola pagina di un sito presenti una vulnerabilità non significa che tutti i contenuti di quel dominio siano dannosi. Valutare le pagine problematiche separatamente dal resto dei contenuti può preservare la visibilità del sito nei risultati di ricerca.

Tuttavia, i dettagli tecnici su come questo approccio sia stato effettivamente implementato nel progetto pilota dovranno essere verificati separatamente.

Risorse di crawling più efficienti

I crawler automatici possono sprecare risorse inviando richieste a pagine inesistenti o a contenuti duplicati. L'analisi dei pattern di traffico può facilitare l'individuazione di queste pagine, rendendo i processi di scansione più efficienti.

Cosa significa per gli editori?

L'aumento del numero di pagine scoperte può dare agli editori un canale completamente nuovo per far accedere gli utenti ai propri contenuti. Resta il fatto che essere indicizzati non equivale automaticamente a un aumento dei visitatori.

Per misurare l'impatto reale del progetto sarà necessario monitorare da vicino il traffico indirizzato ai siti tramite ChatGPT e i tassi di clic. Anche la possibilità per i proprietari di siti di controllare l'accesso dei crawler di intelligenza artificiale è una parte importante del processo.