Siteniz Common Crawl'da mı? AI Görünürlüğü İçin Neden Önemli?

Büyük dil modelleri (LLM) markanızı doğrudan sitenizden öğrenmez; eğitildikleri derlemlerden (corpus) öğrenir. Açık web için bu derlemlerin en büyüğü ve en yaygın kullanılanı Common Crawl. Sayfalarınız orada yoksa, bir dizi model içeriğinizi eğitim sırasında büyük olasılıkla hiç görmemiştir. "Sitem Common Crawl'da mı?" sorusunu bu kadar önemli yapan da bu: kamuya açık veriyle gerçekten yanıtlayabildiğiniz az sayıdaki eğitim-verisi sorusundan biri.

Common Crawl nedir?

Common Crawl, 2008'den beri web'i tarayan ve sonucu ücretsiz, açık veri setleri olarak yayımlayan kâr amacı gütmeyen bir kuruluş — petabaytlarca ham sayfa kaydı. Yaklaşık ayda bir yeni bir crawl çıkar; her biri CC-MAIN-2026-30 gibi tarihli bir indeksle tanımlanır ve içeriği herkese açık CDX indeks API'si üzerinden URL bazında sorgulanabilir.

Arkasındaki tarayıcı CCBot. robots.txt kurallarına uyar, sayfaları bağlantılar ve site haritaları üzerinden keşfeder ve sunucunun döndürdüğünü kaydeder — yani yalnızca JavaScript çalıştıktan sonra görünen, ağırlıkla istemci tarafında render edilen içerik boş bir kabuk olarak kaydedilebilir.

AI görünürlüğü için neden önemli?

Common Crawl, LLM eğitim verisinin birincil bileşenlerinden. OpenAI'ın GPT-3 makalesi, filtrelenmiş Common Crawl'ın eğitim karışımının yaklaşık %60'ını oluşturduğunu bildiriyor (Brown vd., 2020); T5, LLaMA ve Falcon gibi modellerin arkasındaki C4 ve RefinedWeb gibi yaygın veri setleri de doğrudan Common Crawl anlık görüntülerinden üretiliyor.

Dürüst çerçevenin iki yüzü var:

• Var olmak bir şanstır, garanti değil. Sağlayıcılar agresif biçimde filtreler, tekilleştirir ve örnekler; her model her crawl'ı almaz. Kaydedilmiş bir sayfa eğitim verisine girmiş olabilir.
• Yok olmak neredeyse bir hükümdür. Sayfalarınız crawl'dan crawl'a eksikse, bu derlemle eğitilen modellerin içeriğinizi kendi sitenizden öğrenme fırsatı fiilen olmamıştır. Sizin hakkınızda bildikleri, yalnızca sizden bahseden üçüncü taraf sayfalardan gelir.

Bu yüzden Common Crawl kapsamı, Üretken Motor Optimizasyonu'nun (GEO) temelinde durur: AI sistemlerinin sizi nasıl anlattığını optimize etmeden önce, içeriğinizin onların okuduğu veride var olduğunu doğrulayın.

Common Crawl kapsamı SEO değildir

Google indekslemesi ile Common Crawl kapsamı; ayrı tarayıcıları, keşif yolları ve filtreleri olan ayrı sistemlerdir. Bir sayfa Google'ın ilk sayfasında sıralanırken Common Crawl'da hiç olmayabilir — örneğin bir güvenlik duvarı kuralı Googlebot'a izin verip CCBot'u engellediği ya da site yeni olduğu ve CCBot henüz keşfetmediği için. Tersi de olur. Teknik AI bot erişim denetimini zaten yaptıysanız, Common Crawl kontrolü aynı listenin doğal bir sonraki satırı: erişim, botların sizi okuyup okuyamadığıyla ilgilidir; Common Crawl ise açık derlemin bunu gerçekten yapıp yapmadığıyla.

Nasıl kontrol edilir — ücretsiz

CDX API'sini elle sorgulayabilirsiniz (index.commoncrawl.org), ama hız sınırlıdır, ham JSON satırları döndürür ve her sorgu tek bir crawl'ı kapsar. Maya'nın ücretsiz Common Crawl Checker aracı bu toplamayı sizin yerinize yapar — kayıt gerektirmez. Alan adınızı girin; son beş aylık crawl'ı tarar ve şunları raporlar:

Ne görürsünüz	Neden önemli
Tekil kaydedilmiş URL sayısı ve crawl bazında eğilim	Kapsamın aydan aya büyüdüğünü, sabit kaldığını veya eridiğini gösterir
Son kayıt tarihi	Derlemdeki kopyanızın ne kadar taze olduğunu gösterir
Bölüm dağılımı (en çok kaydedilen dizinler)	Tarayıcının sitenin hangi bölümlerine gerçekten ulaştığını gösterir — blog kaydedilirken ürün sayfalarının eksik olması sık görülen bir sürprizdir
İçerik türleri ve alt alan adları (subdomain)	Kayıtların gerçek HTML sayfalar mı yoksa başıboş varlıklar mı olduğunu ve hangi host'ların kapsandığını gösterir
HTTP durum dağılımı	301 ve 404 kayıtları boşa giden kapsamdır
Yinelenen içerik tespiti	İçeriği başka bir URL'ninkiyle birebir aynı olan URL'leri gösterir
CSV dışa aktarma	Tekilleştirilmiş URL listesinin tamamı, kendi analiziniz için

Üzerine aksiyon alınacak iki okuma:

• Sıfır veya sıfıra yakın URL: robots.txt dosyasında CCBot engeli olup olmadığını kontrol edin, sayfaların tarayıcı olmayan istemcilere 200 döndürdüğünü doğrulayın ve ana içeriğin sunucu tarafında render edilmiş HTML'de bulunduğundan emin olun. Sonra bekleyin — yeni kapsam bir gecede değil, aylık crawl ritminde görünür.
• Kapsam var ama yanlış kapsam: Kayıtlar eski blog dizinlerinde yoğunlaşırken ürün ve fiyatlandırma sayfalarınız eksikse, modellerin öğrenmesini en çok istediğiniz sayfalar tam da eksik olanlardır. İç bağlantı ve site haritası hijyeni genellikle bunu düzeltir.

İddiayı dürüst tutun

Common Crawl'da olmak, bir AI asistanının sizi kaynak göstereceği veya markanızı önereceği anlamına gelmez — eğitim verisinde varlık, getirme (retrieval) ve kaynak gösterilme (citation) farklı aşamalardır. Checker ile ilk boşluğu kapatın, sonucu ise ayrı ölçün: AI yanıtlarının sizden gerçekten bahsedip bahsetmediğini ve kaynak gösterip göstermediğini Maya, ChatGPT, Claude, Gemini ve diğerleri genelinde sürekli takip eder.