Robots.txt Nedir, Nasıl Oluşturulur?

Bir web sitesinin arama motorları tarafından doğru şekilde taranması, yalnızca içerik kalitesine değil, doğru teknik yönlendirmelere de bağlıdır. Arama motoru botlarına hangi alanları tarayabileceklerini bildiren en temel dosyalardan biri robots.txt’tir.

Bu yazıda robots.txt nedir, ne işe yarar, nasıl oluşturulur ve doğru şekilde nasıl test edilir sorularını ele alıyoruz.

Robots.txt Nedir?

Robots.txt, bir web sitesinin kök dizininde (örneğin siteadi.com/robots.txt) yer alan, arama motoru botlarına sitenin hangi bölümlerini tarayabileceklerini veya taramaması gerektiğini bildiren düz metin (plain text) formatındaki bir dosyadır.

Bu dosya, Robots Exclusion Protocol (Robot Dışlama Protokolü) adı verilen, arama motorları tarafından yaygın olarak desteklenen bir standarda dayanır. Google, Bing gibi büyük arama motorları, bir siteyi taramadan önce genellikle robots.txt dosyasını kontrol eder.

Önemli bir nokta: robots.txt bir tarama (crawling) yönergesidir, dizine ekleme (indexing) engelleyicisi değildir. Bir sayfa robots.txt ile taramadan engellense bile, başka kaynaklardan (örneğin dış bağlantılardan) bu sayfaya ulaşan bilgiler nedeniyle sayfa yine de dizine eklenebilir. Bir sayfanın kesin olarak dizine eklenmemesi isteniyorsa noindex meta etiketi kullanılmalıdır.

Robots.txt Ne İşe Yarar?

Robots.txt dosyasının temel işlevleri şunlardır:

• Arama motoru botlarının hangi dizinleri veya sayfaları tarayabileceğini belirlemek
• Yönetim panelleri, iç arama sonuçları veya test ortamları gibi taranmaması gereken alanları hariç tutmak
• Büyük sitelerde tarama bütçesinin gereksiz sayfalara harcanmasını önlemek
• Sitemap dosyasının konumunu arama motorlarına bildirmek

Tarama bütçesi kavramı hakkında daha fazla bilgi için tarama bütçesi yazımız incelenebilir.

Robots.txt Nasıl Oluşturulur?

Robots.txt dosyası oluşturmak için genel adımlar şu şekildedir:

1. Düz metin editörü (Not Defteri, VS Code gibi) ile robots.txt adında bir dosya oluşturulur.
2. Dosya, aşağıda açıklanan söz dizimine uygun olarak düzenlenir.
3. Dosya, web sitesinin kök dizinine (siteadi.com/robots.txt adresinde erişilebilecek şekilde) yüklenir.
4. Google Search Console gibi araçlarla dosyanın doğru çalıştığı test edilir.

Modern CMS ve framework’lerin çoğu (WordPress eklentileri, Astro, Next.js gibi statik site oluşturucular) robots.txt dosyasını otomatik olarak oluşturabilir veya kolayca özelleştirilebilir hale getirebilir.

Robots.txt Söz Dizimi Nasıldır?

Robots.txt dosyası, birkaç temel direktiften (kural) oluşur:

Direktif	Açıklama
User-agent	Kuralın hangi bot için geçerli olduğunu belirtir (örn. Googlebot veya tüm botlar için *)
Disallow	Belirtilen yolun taranmasını engeller
Allow	Disallow ile engellenen bir dizin içinde belirli bir yolun taranmasına izin verir
Sitemap	Sitemap dosyasının tam adresini belirtir

Basit bir örnek:

User-agent: *
Disallow: /yonetim/
Disallow: /arama/
Allow: /

Sitemap: https://www.siteadi.com/sitemap.xml

Bu örnekte tüm botların (User-agent: *) /yonetim/ ve /arama/ dizinlerini taraması engellenirken, sitenin geri kalanına izin verilmekte ve sitemap dosyasının konumu bildirilmektedir.

Sitemap dosyanızın nasıl oluşturulacağı hakkında bilgi için sitemap nedir yazımız incelenebilir.

Robots.txt’te Hangi Sayfalar Engellenmeli?

Genel olarak aşağıdaki sayfa türlerinin taranmaktan hariç tutulması değerlendirilebilir:

• Yönetim paneli ve giriş sayfaları
• İç arama sonuçları
• Test veya geliştirme ortamları
• Filtreleme parametreleri nedeniyle oluşan yinelenen URL’ler
• Kullanıcıya özel hesap sayfaları (sepet, profil gibi)

Buna karşılık CSS ve JavaScript dosyalarının engellenmemesi önemlidir; arama motorları sayfaları düzgün render edebilmek için bu dosyalara erişim gerektirir. CSS/JS dosyalarının engellenmesi, Google’ın sayfayı doğru şekilde anlamasını zorlaştırabilir.

Robots.txt ile Sitemap İlişkisi

Robots.txt ve sitemap, birbirini tamamlayan ama zıt işlevlere sahip iki dosyadır: robots.txt arama motorlarına nereyi taramaması gerektiğini, sitemap ise nereyi taraması gerektiğini bildirir.

Sitemap dosyasının adresinin robots.txt içinde Sitemap: direktifiyle belirtilmesi, arama motoru botlarının siteye ilk geldiğinde sitemap’in konumunu hızlıca bulmasına yardımcı olur. Bu, özellikle yeni veya büyük sitelerde taramanın daha verimli başlamasını destekler.

Robots.txt Kullanırken Sık Yapılan Hatalar

• Tüm siteyi yanlışlıkla engellemek: Disallow: / yazımı, sitenin tamamının taranmasını engelleyebilir; bu genellikle istenmeyen bir durumdur.
• CSS/JS dosyalarını engellemek: Bu, arama motorlarının sayfayı doğru render etmesini zorlaştırabilir.
• Robots.txt’i noindex yerine kullanmak: Robots.txt taramayı engeller ama dizine eklemeyi garanti şekilde önlemez; kesin dizin dışı bırakma için noindex etiketi gereklidir.
• Dosyayı yanlış konuma yüklemek: Dosyanın mutlaka kök dizinde (/robots.txt) yer alması gerekir; alt dizinlerde çalışmaz.
• Büyük/küçük harf duyarlılığını göz ardı etmek: Robots.txt kuralları büyük/küçük harfe duyarlıdır; yollar dikkatle yazılmalıdır.

Robots.txt Nasıl Test Edilir?

Robots.txt dosyasının doğru çalıştığını doğrulamak için:

1. Tarayıcıdan doğrudan siteadi.com/robots.txt adresine giderek dosyanın erişilebilir olduğu kontrol edilebilir.
2. Google Search Console üzerinden ilgili test araçlarıyla belirli URL’lerin taranıp taranamadığı kontrol edilebilir.
3. Değişiklik yapıldıktan sonra önemli sayfaların yanlışlıkla engellenmediğinden emin olunmalıdır.

Sitenizin genel teknik SEO yapısını değerlendirmek için teknik SEO ve SEO danışmanlığı hizmetlerimizden yararlanabilirsiniz.

Sık Sorulan Sorular

Robots.txt dosyası zorunlu mudur?

Hayır, zorunlu değildir. Robots.txt dosyası olmayan bir site de taranabilir ve dizine eklenebilir. Ancak büyük veya karmaşık sitelerde tarama davranışını yönlendirmek için faydalı bir araçtır.

Robots.txt bir sayfayı Google’dan tamamen gizler mi?

Hayır. Robots.txt yalnızca taramayı engeller; sayfa başka kaynaklardan bilinip dizine eklenebilir. Bir sayfayı arama sonuçlarından tamamen çıkarmak için noindex meta etiketi kullanılmalıdır.

Robots.txt dosyası nerede olmalıdır?

Web sitesinin kök dizininde, yani siteadi.com/robots.txt adresinde erişilebilir olmalıdır. Alt dizinlere yüklenen robots.txt dosyaları geçerli sayılmaz.

Robots.txt dosyasında sitemap belirtmek zorunlu mu?

Zorunlu değildir, sitemap Google Search Console üzerinden ayrıca da gönderilebilir. Ancak robots.txt içinde belirtmek, botların sitemap’i daha hızlı keşfetmesine yardımcı olabilir.

Yanlış yapılandırılmış bir robots.txt SEO’ya zarar verebilir mi?

Evet. Örneğin yanlışlıkla Disallow: / kullanmak, tüm sitenin taranmasını engelleyerek organik görünürlüğü ciddi biçimde olumsuz etkileyebilir. Değişikliklerden sonra dosyanın test edilmesi önemlidir.

Sonuç

Robots.txt, arama motoru botlarının bir web sitesini nasıl tarayacağını yönlendiren, küçük ama etkisi büyük bir teknik SEO dosyasıdır. Doğru yapılandırıldığında tarama bütçesinin verimli kullanılmasına yardımcı olurken, yanlış yapılandırıldığında önemli sayfaların taranmasını engelleyerek görünürlüğe zarar verebilir.

Web sitenizin teknik SEO altyapısını uçtan uca değerlendirmek için SEO danışmanlığı hizmetimizden yararlanabilirsiniz.