Robots.txt Oluşturucu nedir, ne işe yarar?
robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi bölümleri tarayıp hangilerini taramamaları gerektiğini bildiren basit bir metin dosyasıdır. Doğru kurulduğunda tarama bütçesinin önemli sayfalara harcanmasına yardımcı olur; yanlış kurulduğunda tüm siteyi yanlışlıkla taramaya kapatabilir.
Bu araçla genel kuralı seçebilir, taranmasını istemediğiniz yolları listeleyebilir, sitemap adresinizi ekleyebilir ve istediğiniz yapay zeka botlarını engelleyebilirsiniz. Dosyayı kopyalayıp ya da indirip sitenizin kök dizinine yüklemeniz yeterlidir.
robots.txt söz dizimi: temel yönergeler
robots.txt, satır satır yazılan basit kurallardan oluşur. Araç bu satırları sizin için üretir; yine de ne anlama geldiklerini bilmek hata yapmanızı önler.
| Yönerge | Anlamı | Örnek |
|---|
| User-agent | Kuralın hangi bota uygulanacağını belirtir. * tüm botlar demektir. | User-agent: * |
| Disallow | Botun taramaması gereken yolu belirtir. | Disallow: /admin/ |
| Allow | Engellenen bir klasörün içindeki belirli bir yola izin verir. | Allow: /admin/yardim/ |
| Sitemap | Site haritanızın tam adresini bildirir. | Sitemap: https://www.ornek.com/sitemap.xml |
Hangi sayfalar engellenmeli, hangileri engellenmemeli?
Genel ilke, arama sonuçlarında görünmesinde fayda olmayan ve botların boşuna zaman harcayacağı bölümleri engellemek, değerli içerikleri ve sayfanın görünümü için gereken dosyaları açık bırakmaktır.
- Engellenebilir: yönetim paneli, iç arama sonuç sayfaları, sepet ve ödeme adımları, sonsuz kombinasyon üreten filtre ve sıralama parametreleri.
- Engellenmemeli: blog yazıları, hizmet ve ürün sayfaları, kategori sayfaları, sayfanın görünümü için gereken CSS ve JavaScript dosyaları.
- Dikkat: Disallow: / satırı tüm siteyi taramaya kapatır; test sitesinden canlıya geçişte en sık yapılan hatalardan biri bu satırı unutmaktır.
robots.txt ile noindex arasındaki fark
robots.txt taramayı kontrol eder, dizine eklemeyi değil. Bir sayfayı robots.txt ile engellerseniz Google sayfanın içeriğini göremez, ancak başka sayfalardan gelen bağlantılar yüzünden adresi yine de dizinde gösterebilir. Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız noindex etiketini kullanın ve botun sayfayı tarayıp bu etiketi görebilmesi için robots.txt ile engellemeyin.
Yapay zeka botları ve robots.txt
Birçok yapay zeka şirketi içerik toplamak için kendi botunu kullanır ve bu botların adlarını robots.txt kurallarına saygı gösterecek şekilde yayınlar. Araçtan hangi botları engelleyeceğinizi seçebilirsiniz. Karar vermeden önce şunu göz önünde bulundurun: bazı şirketler model eğitimi için ve yapay zeka arama yanıtlarında kaynak göstermek için ayrı botlar kullanır. Eğitim botunu engellemek ile arama botunu engellemek farklı sonuçlar doğurur; ikincisi yapay zeka yanıtlarında görünürlüğünüzü azaltabilir.
Yayınladıktan sonra yapılacaklar
- Dosyayı robots.txt adıyla alan adınızın kök dizinine yükleyin.
- Tarayıcıdan ornek.com/robots.txt adresini açıp dosyanın göründüğünü doğrulayın.
- Google Search Console'daki robots.txt raporundan dosyanın okunduğunu ve hata olmadığını kontrol edin.
- Ana sayfa, bir hizmet sayfası ve bir blog yazısının engellenmediğini URL denetimi aracıyla test edin.
- Sitede büyük bir değişiklik yaptığınızda dosyayı yeniden gözden geçirin.
Örnek bir robots.txt dosyası
Aşağıdaki dosya, kurgusal bir kurumsal sitenin yönetim panelini ve iç arama sonuçlarını engelleyip site haritasını bildiren sade bir örnektir:
- User-agent: *
- Disallow: /yonetim/
- Disallow: /arama/
- Disallow: /sepet/
- Sitemap: https://www.ornek.com/sitemap.xml
Kendi sitenizde robots.txt dosyasını nerede bulursunuz?
Dosya her zaman alan adınızın kök dizininde, ornek.com/robots.txt adresinde bulunmalıdır. WordPress gibi sistemlerde bu dosya çoğu zaman otomatik üretilir; SEO eklentileri bu dosyayı düzenlemeniz için bir ekran sunar. Hazır site oluşturucularda dosya platform tarafından yönetilir ve düzenleme seçenekleri sınırlı olabilir. Kodla yönettiğiniz sitelerde ise dosyayı kök dizine kendiniz yüklersiniz. Değişiklik yaptıktan sonra tarayıcıdan adresi açarak güncel hâlini görmek ve Search Console'dan test etmek en güvenli yoldur.
robots.txt dosyasında sık yapılan hatalar
- Test sitesinden kalan Disallow: / satırını canlıya taşımak.
- CSS, JavaScript ve görsel klasörlerini engellemek; Google sayfayı doğru render edemez.
- robots.txt ile engellediği sayfaya aynı anda noindex eklemek; bot sayfayı tarayamadığı için etiketi göremez.
- Dosyayı alt klasöre yüklemek; yalnızca kök dizindeki dosya geçerlidir.
- Sitemap adresini http ile ya da yanlış alan adıyla yazmak.
- Dosyayı yayınladıktan sonra hiç test etmemek.