AI Bot Erişimi Nasıl Kontrol Edilir? Teknik Denetim

Bir sayfanın tarayıcınızda açılması, otomatik sistemlerin aynı içeriğe erişebildiğini göstermez. Oturum, güvenlik duvarı, yönlendirme veya içerik yükleme biçimi farklı sonuçlar üretebilir. AI bot erişimi denetimi, bu farkları URL bazında ortaya çıkarmak için yapılır.

Denetimde üç ayrı soruya cevap arayın: İstek kabul ediliyor mu, gerekli içerik okunabiliyor mu ve ilgili arama sistemi açısından sayfa uygun durumda mı? Erişim sorununun çözülmesi değerli bir teknik ilerlemedir; fakat tek başına kaynak gösterilme veya marka önerilmesi sonucunu garanti etmez. Sağlıklı bir rapor bu aşamaları birbirine karıştırmaz.

Denetimi tek ana sayfayla sınırlamayın

Ana sayfa, ürün, fiyat, kategori ve rehber gibi farklı şablonlardan örnek URL'ler seçin. Sorun yalnızca belirli bir sayfa türünde görülebilir. Örneğin ürün açıklaması herkese açıkken fiyat bilgisi oturum açılmadan yüklenmiyor olabilir.

Her URL için beklenen içeriği önceden yazın. Ürün sayfasında ürün adı, temel özellik ve varyant bilgisi; rehberde başlık ve ana açıklama görünmeli. Denetim yalnızca “200 durum kodu geldi” sonucundan oluşursa boş veya eksik içerik gözden kaçabilir.

Önceliği ticari açıdan önemli ve AI yanıtlarında kaynak olmasını beklediğiniz sayfalara verin. Kullanılmayan yüzlerce eski URL'yi incelemekten önce karar anında gereken bilgilerin erişimini kontrol edin.

robots.txt, indeksleme ve erişim farklıdır

robots.txt, tarayıcıların hangi URL'lere erişebileceğini yönetir. Google, bu dosyanın bir sayfayı arama sonuçlarından gizleme yöntemi olmadığını açıkça belirtiyor. Bir sayfanın taranmasını engellemek ile indekslenmesini kontrol etmek farklı işlemlerdir. Google robots.txt rehberi.

Bu nedenle kontrol listenizde robots kuralı, HTTP sonucu ve varsa indeksleme yönergeleri ayrı satırlarda bulunmalı. Özel içerikleri korumak için robots dosyasına güvenmeyin; erişim denetimi ayrı bir mekanizmadır.

Bot isimlerini de tek bir “AI botları” grubunda değerlendirmeyin. Eğitim, arama veya kullanıcı adına sayfa getirme amaçları aynı olmayabilir. İzin kararını ilgili sağlayıcının güncel dokümantasyonundaki role göre verin. Bir botu açınca bütün ürünlerde görünür olacağınız varsayımıyla genel izin değişikliği yapmayın.

Güvenlik katmanını ve sayfa içeriğini birlikte inceleyin

Denetimde aşağıdaki temsili kontrol tablosunu kullanabilirsiniz. Bir bulgu, sorunun kesin nedenini değil, sonraki inceleme adımını gösterir.

Gözlem	İncelenecek alan	Tamamlanma ölçütü
403 veya doğrulama ekranı	Güvenlik duvarı ve bot kuralları	Hedeflenen meşru isteğin gerekli içeriğe erişmesi
Tekrarlanan yönlendirme	URL ve dil yönlendirmeleri	Doğru son sayfaya tutarlı erişim
200 ama içerik eksik	Sunulan HTML ve yükleme akışı	Ana bilginin yanıt içinde bulunması
Yanlış dilde sayfa	Dil seçimi ve konum davranışı	İstenen dil sürümünün erişilebilir olması
Beklenmeyen canonical	Sayfa eşleştirme ayarları	Tercih edilen URL'nin doğru belirtilmesi

Yalnızca istek başlığındaki bot adını değiştirmek, gerçek sağlayıcının erişimini kesin olarak kanıtlamaz. Sonucu desteklemek için sunucu kayıtları ve sağlayıcının sunduğu doğrulama araçları varsa bunlardan yararlanın. Test isteği ile gerçek bot ziyareti raporda ayrı gösterilmeli.

Google AI özellikleri için gereksinimi doğru okuyun

Google, AI Overviews ve AI Mode'da destekleyici bağlantı olabilmek için sayfanın indekslenmiş ve aramada snippet göstermeye uygun olması gerektiğini belirtiyor. Bu özellikler için ayrıca özel AI dosyaları veya özel schema işaretlemesi gerekmiyor. Google AI özellikleri dokümantasyonu.

Bu bilgi, llms.txt eklemeyi bütün teknik çalışmanın yerine koymamanız gerektiğini gösterir. Erişilemeyen ürün sayfası veya yanlış yönlenen rehber, ayrı bir dosya oluşturulduğunda kendiliğinden düzelmez. Yapılandırılmış veriyi de görünür içerikle uyumlu tutun; ürünün sahip olmadığı özelliği işaretlemeye eklemeyin.

Maya'nın llms.txt rehberini değerlendirirken dosyanın amacı ile platformların doğrulanmış gereksinimlerini ayırın. Teknik tercihleri ölçülebilir bir soruna bağlayın.

Her bulguyu yeniden test ederek kapatın

Bir teknik işin kartında URL, bulgu, kanıt, sorumlu kişi, değişiklik ve yeniden test sonucu yer alsın. “Güvenlik duvarı güncellendi” işin yapıldığını gösterir; sayfanın artık erişilebilir olduğunu tek başına göstermez.

Düzeltmeden sonra aynı URL'yi ve aynı test koşullarını kullanın. Gerekli metnin geldiğini kontrol edin, sonucu tarihleyin. Ardından görünürlük takibini ayrı yürütün: teknik erişim düzeldi mi ve yeni AI yanıtlarında kaynak seçimi değişti mi?

İlk kontrol için Maya Site Auditor kapsamını inceleyebilirsiniz. Denetimin sonunda tek bir puandan çok, hangi sayfada hangi sorunun çözüldüğünü gösteren kısa ve doğrulanabilir bir iş listesi hedefleyin.