robots.txt Yapay Zekâ Bot Denetleyici nedir, ne işe yarar?
ChatGPT, Claude, Perplexity ve Gemini gibi araçlar cevap üretirken web sitelerini farklı botlarla tarar ya da okur. robots.txt dosyanız bu botların hangi sayfalara girebileceğini belirler; bir satırlık yanlış kural, sitenizi yapay zekâ cevaplarından tümüyle çıkarabilir ya da tam tersine, istemediğiniz içeriği açıkta bırakabilir.
Bu araç, yapıştırdığınız robots.txt içeriğini okur ve yaygın yapay zekâ botları için erişimin açık, kısmen kısıtlı ya da engelli olduğunu gösterir. Kurallar tarayıcınızda işlenir; içerik hiçbir yere gönderilmez.
Nasıl kullanılır?
- Sitenizin robots.txt adresini tarayıcıda açın (örneğin alanadi.com/robots.txt).
- İçeriğin tamamını kopyalayıp kutuya yapıştırın.
- "Denetle"ye basın.
- Tablodaki durumları inceleyin; engellemek ya da açmak istediğiniz botları not edin.
Kullanım ipuçları
- Eğitim botları (GPTBot, ClaudeBot, CCBot) ile arama ve kullanıcı isteği botlarını (OAI-SearchBot, PerplexityBot, ChatGPT-User) ayrı düşünün: aynı şirketin botlarını ayrı ayrı yönetebilirsiniz.
- Google-Extended bir tarama botu değil, Gemini için içerik kullanım iznini belirleyen bir robots.txt belirtecidir; Google Arama sıralamasını etkilemez.
- Genel (*) grubundaki bir engel, özel kuralı olmayan tüm botlara uygulanır; özel bir kural yazarsanız o bot için genel kural geçerli olmaz.
- robots.txt bir erişim kontrolü değil, nezaket kuralıdır; hassas içeriği yalnızca bu dosyayla korumayın.