İnternetteki içeriklerin tamamı arama motorlarına ulaşamıyor. Klasik tarayıcılar yeni sayfaları genellikle başka sitelerdeki bağlantıları izleyerek bulduğu için, bir çamaşır makinesi kılavuzu ya da yerel bir restoranın menüsü gibi değerli içerikler, hiçbir siteden link almadığında arama sonuçlarında görünmez hale gelebiliyor.

Cloudflare ile OpenAI'ın temmuz ayında yola çıktığı ortak proje, tam bu noktada devreye giriyor. Cloudflare ağındaki trafik sinyalleri kullanılarak, geleneksel tarayıcıların gözünden kaçan yüz milyonlarca sayfa tespit edilip ChatGPT'nin arama dizinine ekleniyor.

Cloudflare-and-OpenAI

Bağlantı takibi yerine trafik sinyalleri

Geleneksel yöntemde bir sayfadan diğerine uzanan linkler izlenerek yeni içerik bulunur. Yeni projede ise kullanıcıların hangi sayfaları ziyaret ettiğine dair trafik verileri temel alınıyor. Bu sayede başka sitelerden bağlantı almayan ama somut bir ihtiyacı karşılayan içerikler de keşfedilebiliyor.

Tek bir sorunlu sayfa, tüm alan adını karartmayabilir

Bir sitedeki tek sayfanın güvenlik açığı taşıması, o alan adındaki bütün içeriklerin zararlı olduğu anlamına gelmiyor. Sorunlu sayfaların geri kalan içeriklerden ayrı değerlendirilmesi, sitenin arama sonuçlarındaki görünürlüğünü koruyabilir.

Bununla birlikte, bu yaklaşımın pilot projede tam olarak nasıl hayata geçirildiğine dair teknik detayların ayrıca doğrulanması gerekiyor.

Tarama kaynakları daha verimli kullanılabilir

Otomatik tarayıcılar, var olmayan sayfalara veya tekrarlayan içeriklere istek göndererek boşuna kaynak harcayabiliyor. Trafik örüntülerinin analizi bu tür sayfaların tespitini kolaylaştırarak tarama süreçlerini daha verimli hale getirebilir.

Yayıncılar için ne anlama geliyor?

Keşfedilen sayfa sayısının artması, yayıncıların içeriklerine yepyeni bir kanaldan erişilmesini mümkün kılabilir. Yine de dizine eklenmek, otomatik olarak ziyaretçi artışı demek değil.

Projenin gerçek etkisini ölçmek için ChatGPT üzerinden sitelere yönlendirilen trafiğin ve tıklanma oranlarının yakından izlenmesi gerekiyor. Site sahiplerinin yapay zekâ tarayıcılarının erişimini kontrol edebilmesi de sürecin önemli bir parçası.