Robots.txt Oluşturucu nedir, ne işe yarar?
robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi bölümleri tarayıp hangilerini taramamaları gerektiğini bildiren basit bir metin dosyasıdır. Doğru kurulduğunda tarama bütçesinin önemli sayfalara harcanmasına yardımcı olur; yanlış kurulduğunda tüm siteyi yanlışlıkla taramaya kapatabilir.
Bu araçla genel kuralı seçebilir, taranmasını istemediğiniz yolları listeleyebilir, sitemap adresinizi ekleyebilir ve istediğiniz yapay zeka botlarını engelleyebilirsiniz. Dosyayı kopyalayıp ya da indirip sitenizin kök dizinine yüklemeniz yeterlidir.
Nasıl kullanılır?
- Genel kuralı seçin: siteyi taramaya açık bırakın veya kapatın.
- Taranmasını istemediğiniz klasörleri satır satır yazın (ör. /admin/).
- Sitemap adresinizi ekleyin.
- Dosyayı indirip alan adınızın kök dizinine robots.txt adıyla yükleyin.
Kullanım ipuçları
- robots.txt bir güvenlik önlemi değildir; gizli içerikleri korumak için parola veya erişim kontrolü kullanın.
- Sayfayı dizinden çıkarmak için robots.txt yerine noindex etiketi kullanın; taramayı engellemek sayfanın indekste kalmasını önlemez.
- CSS ve JavaScript dosyalarını engellemeyin; Google sayfayı doğru render etmek için bunlara ihtiyaç duyar.
- Yayına aldıktan sonra Google Search Console üzerinden dosyayı test edin.