İçeriğe geç

Ücretsiz ön değerlendirmeHemen yazın →

Soft Ajans

SEO Araçları

Robots.txt Oluşturucu

Arama motoru botları için robots.txt dosyasını sitemap ve yapay zeka botu ayarlarıyla oluşturun.

  • Ücretsiz
  • Kayıt gerekmez
  • Verileriniz tarayıcınızdan çıkmaz

Google Crawl-delay yönergesini dikkate almaz; bazı diğer botlar alabilir.

Yapay zeka botlarını engelle (isteğe bağlı)

Bu botları engellemek, içeriğinizin yapay zeka yanıtlarında kullanılma ihtimalini de etkileyebilir.

robots.txt içeriği

Dosyayı alan adınızın kök dizinine robots.txt adıyla yükleyin (ör. ornek.com/robots.txt).

Robots.txt Oluşturucu nedir, ne işe yarar?

robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi bölümleri tarayıp hangilerini taramamaları gerektiğini bildiren basit bir metin dosyasıdır. Doğru kurulduğunda tarama bütçesinin önemli sayfalara harcanmasına yardımcı olur; yanlış kurulduğunda tüm siteyi yanlışlıkla taramaya kapatabilir.

Bu araçla genel kuralı seçebilir, taranmasını istemediğiniz yolları listeleyebilir, sitemap adresinizi ekleyebilir ve istediğiniz yapay zeka botlarını engelleyebilirsiniz. Dosyayı kopyalayıp ya da indirip sitenizin kök dizinine yüklemeniz yeterlidir.

Nasıl kullanılır?

  1. Genel kuralı seçin: siteyi taramaya açık bırakın veya kapatın.
  2. Taranmasını istemediğiniz klasörleri satır satır yazın (ör. /admin/).
  3. Sitemap adresinizi ekleyin.
  4. Dosyayı indirip alan adınızın kök dizinine robots.txt adıyla yükleyin.

Kullanım ipuçları

  • robots.txt bir güvenlik önlemi değildir; gizli içerikleri korumak için parola veya erişim kontrolü kullanın.
  • Sayfayı dizinden çıkarmak için robots.txt yerine noindex etiketi kullanın; taramayı engellemek sayfanın indekste kalmasını önlemez.
  • CSS ve JavaScript dosyalarını engellemeyin; Google sayfayı doğru render etmek için bunlara ihtiyaç duyar.
  • Yayına aldıktan sonra Google Search Console üzerinden dosyayı test edin.

robots.txt söz dizimi: temel yönergeler

robots.txt, satır satır yazılan basit kurallardan oluşur. Araç bu satırları sizin için üretir; yine de ne anlama geldiklerini bilmek hata yapmanızı önler.

YönergeAnlamıÖrnek
User-agentKuralın hangi bota uygulanacağını belirtir. * tüm botlar demektir.User-agent: *
DisallowBotun taramaması gereken yolu belirtir.Disallow: /admin/
AllowEngellenen bir klasörün içindeki belirli bir yola izin verir.Allow: /admin/yardim/
SitemapSite haritanızın tam adresini bildirir.Sitemap: https://www.ornek.com/sitemap.xml

Hangi sayfalar engellenmeli, hangileri engellenmemeli?

Genel ilke, arama sonuçlarında görünmesinde fayda olmayan ve botların boşuna zaman harcayacağı bölümleri engellemek, değerli içerikleri ve sayfanın görünümü için gereken dosyaları açık bırakmaktır.

  • Engellenebilir: yönetim paneli, iç arama sonuç sayfaları, sepet ve ödeme adımları, sonsuz kombinasyon üreten filtre ve sıralama parametreleri.
  • Engellenmemeli: blog yazıları, hizmet ve ürün sayfaları, kategori sayfaları, sayfanın görünümü için gereken CSS ve JavaScript dosyaları.
  • Dikkat: Disallow: / satırı tüm siteyi taramaya kapatır; test sitesinden canlıya geçişte en sık yapılan hatalardan biri bu satırı unutmaktır.

robots.txt ile noindex arasındaki fark

robots.txt taramayı kontrol eder, dizine eklemeyi değil. Bir sayfayı robots.txt ile engellerseniz Google sayfanın içeriğini göremez, ancak başka sayfalardan gelen bağlantılar yüzünden adresi yine de dizinde gösterebilir. Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız noindex etiketini kullanın ve botun sayfayı tarayıp bu etiketi görebilmesi için robots.txt ile engellemeyin.

Yapay zeka botları ve robots.txt

Birçok yapay zeka şirketi içerik toplamak için kendi botunu kullanır ve bu botların adlarını robots.txt kurallarına saygı gösterecek şekilde yayınlar. Araçtan hangi botları engelleyeceğinizi seçebilirsiniz. Karar vermeden önce şunu göz önünde bulundurun: bazı şirketler model eğitimi için ve yapay zeka arama yanıtlarında kaynak göstermek için ayrı botlar kullanır. Eğitim botunu engellemek ile arama botunu engellemek farklı sonuçlar doğurur; ikincisi yapay zeka yanıtlarında görünürlüğünüzü azaltabilir.

Yayınladıktan sonra yapılacaklar

  1. Dosyayı robots.txt adıyla alan adınızın kök dizinine yükleyin.
  2. Tarayıcıdan ornek.com/robots.txt adresini açıp dosyanın göründüğünü doğrulayın.
  3. Google Search Console'daki robots.txt raporundan dosyanın okunduğunu ve hata olmadığını kontrol edin.
  4. Ana sayfa, bir hizmet sayfası ve bir blog yazısının engellenmediğini URL denetimi aracıyla test edin.
  5. Sitede büyük bir değişiklik yaptığınızda dosyayı yeniden gözden geçirin.

Örnek bir robots.txt dosyası

Aşağıdaki dosya, kurgusal bir kurumsal sitenin yönetim panelini ve iç arama sonuçlarını engelleyip site haritasını bildiren sade bir örnektir:

  • User-agent: *
  • Disallow: /yonetim/
  • Disallow: /arama/
  • Disallow: /sepet/
  • Sitemap: https://www.ornek.com/sitemap.xml

Kendi sitenizde robots.txt dosyasını nerede bulursunuz?

Dosya her zaman alan adınızın kök dizininde, ornek.com/robots.txt adresinde bulunmalıdır. WordPress gibi sistemlerde bu dosya çoğu zaman otomatik üretilir; SEO eklentileri bu dosyayı düzenlemeniz için bir ekran sunar. Hazır site oluşturucularda dosya platform tarafından yönetilir ve düzenleme seçenekleri sınırlı olabilir. Kodla yönettiğiniz sitelerde ise dosyayı kök dizine kendiniz yüklersiniz. Değişiklik yaptıktan sonra tarayıcıdan adresi açarak güncel hâlini görmek ve Search Console'dan test etmek en güvenli yoldur.

robots.txt dosyasında sık yapılan hatalar

  • Test sitesinden kalan Disallow: / satırını canlıya taşımak.
  • CSS, JavaScript ve görsel klasörlerini engellemek; Google sayfayı doğru render edemez.
  • robots.txt ile engellediği sayfaya aynı anda noindex eklemek; bot sayfayı tarayamadığı için etiketi göremez.
  • Dosyayı alt klasöre yüklemek; yalnızca kök dizindeki dosya geçerlidir.
  • Sitemap adresini http ile ya da yanlış alan adıyla yazmak.
  • Dosyayı yayınladıktan sonra hiç test etmemek.

Sık sorulan sorular

01

robots.txt dosyası nereye yüklenir?

Alan adının kök dizinine, yani ornek.com/robots.txt adresinden erişilecek şekilde yüklenmelidir. Alt klasördeki dosya geçerli sayılmaz.

02

robots.txt olmazsa ne olur?

Dosya yoksa botlar siteyi kısıtlama olmadan tarayabilir. Bu bir hata değildir, ancak kontrol sizde olmaz.

03

Yapay zeka botlarını engellemek doğru mu?

Bu bir tercih meselesidir. Engellemek içeriğinizin eğitim verisi olarak kullanılmasını sınırlayabilir, ancak yapay zeka yanıtlarında görünürlüğünüzü de etkileyebilir.

04

Crawl-delay Google için geçerli mi?

Hayır, Google bu yönergeyi dikkate almaz. Bazı diğer botlar dikkate alabilir.

05

Disallow: / satırı ne yapar?

İlgili bota sitenin tamamını taramamasını söyler. Canlı sitede yanlışlıkla bırakılırsa sayfaların taranması durur ve zamanla arama sonuçlarından düşme riski doğar.

06

Sitemap satırı zorunlu mu?

Hayır, ancak önerilir. Botların site haritanızı bulmasını kolaylaştırır; Search Console üzerinden ayrıca gönderim yapmak da mümkündür.

07

Joker karakterler kullanılabilir mi?

Google * (herhangi bir karakter dizisi) ve $ (adresin sonu) karakterlerini destekler. Bu karakterler, parametreli adresleri engellemek için kullanışlıdır; ancak kuralı yayınlamadan önce test etmek gerekir.

Araçtan öteye

Profesyonel destek mi gerekiyor?

Teknik düzeni siz kurun, sıralama ve trafik hedefini birlikte planlayalım.

Birlikte çalışalım

Projenizi birlikte büyütelim

Hedefinizi ve bütçenizi kısaca anlatın; aynı gün dönüş yapıp size uygun bir yol haritası çıkaralım.

WhatsApp ile Ulaşın!

Konu nedir?