Screaming Frog Kullanım Kılavuzu ve Yapılandırma Ayarları

Hem web sitenizin SEO’sunu optimize etmek hem de rakipleri analiz etmek istiyorsanız, Screaming Frog çok faydalı bir web tarayıcıdır. Özellikle web sitenizde yer alan SEO hatalarını minimize etmek için kullanılmalıdır.

Freemium araçlardan biri olan Screaming Frog, ücretsiz seçeneğinde 500 URL’ye kadar analiz imkanı sunarken, 209 dolarlık yıllık ücreti olan premium hesap ile sınırsız URL ve ek analizleri elde etmenize olanak tanır.

Screaming Frog Nedir?

Screaming Frog, hem kendi sitenizin hem de analiz etmek istediğiniz bir başka web sitesinin SEO hatalarını bulmaya yarayan bir web tarayıcıdır. En az hata ile SEO çalışmalarının kalitesini artırmak isteyenlerin kullanabileceği araç, arama sonuçlarında daha üst sıralarda yer almanıza olanak tanır.

Screaming Frog’u kullanmak için öncelikle bilgisayarınıza indirmeniz ve yüklemeniz gerekmektedir. Windows, MacOS ve Linux işletim sistemleri için farklı versiyonları bulunmaktadır. Web sitesi üzerinden download butonu ile indirmeye başlayabilirsiniz. Sistem işletim sisteminizi otomatik bir şekilde anlayarak ihtiyacınız olan versiyonu indirecektir.

Screaming Frog’u indirdikten sonra çeşitli konfigürasyonlar yapmanız gerekmektedir.

Screaming Frog Yapılandırma Ayarları

Aracınızın iyi bir konfigürasyonu, bir siteyi derinlemesine analiz etmek ve ihtiyacınız olan tüm verileri elde etmek için çok önemli olacaktır. Adım adım nasıl yapılandırılacağını öğrenin

Screaming kurbağa üzerinde ilk taramanızı başlatın:

Araca geldiğinizde, ilk göreceğiniz şey, analiz etmek istediğiniz sitenin URL’sini girebileceğiniz bir çubuktur. URL’nizi girmeniz ve ilk taramanızı başlatmak için başlamayı seçmeniz yeterlidir. Başlatıldığında ve durdurmak istediğinizde, taramanızı sıfırlamak için Duraklat’ı ve ardından Temizle’yi tıklamanız yeterlidir.

Screaming kurbağa üzerinde ilk taramanızı yapılandırın:

Tarayıcınızı, yalnızca ilgilendiğiniz bilgileri döndürecek şekilde yapılandırmanın birçok yolu vardır. Bu, çok sayıda sayfası olan siteleri taradığınızda veya bir alt etki alanını analiz etmek istediğinizde çok yararlı olabilir.

Bunu yapmak için üst menüye gidin ve Yapılandırma’yı seçin.

Spider

Crawl Bölümü

Configuration ya da konfigürasyon menüsüne giriş yaptığınızda ilk adımda Spider’ı göreceksiniz. Bu seçenek ile hangi kaynakların taranmasını istediğinizi seçebilirisniz.

Bu konuda örnek vermek gerekirse; analiz edeceğiniz sitenin görsellerini taramamayı seçebilirsiniz. Bu sayede Screaming Frog sizin için IMG öğelerini taramayacaktır. Bu sayede, tarama işlemini çok kısa süre içerisinde tamamlayabilirsiniz. Tabi ki iyi getirisi olduğu gibi götürüsü de olmaktadır. Resimlerin özelliklerini ve yükünü test edememiş olursunuz.

Spider konfigürasyonu sayesinde hangi analizi yapmak istiyorsanız sadece onlara odaklanma imkanınız olur.

Eğer ki detaylı bir analiz yapmak istiyorsanız, görselleri, CSS’leri, javascriptleri ve diğer dosyaları da taramanız mantıklı olacaktır.

• Sayfa bağlantıları: Hangi linkleri taramak istediğinize bu alanda karar verirsiniz. Mesela harici bağlantıları taramak istemiyorsanız çıkarabilirsiniz.
• Tarama Davranışı: Web sitenizin sadece belirli sayfalarını taramak istiyorsanız bu bölümden seçmeniz mümkün.
• XML Site Haritaları: Sitenizde yer alan xml site haritalarını analiz edebilirsiniz.

Extraction Bölümü

Bu bölümde yapacağınız seçenekler ile birlikte web sitenizdeki hangi verileri çıkarmasını belirleyebilirsiniz. Örnek vermek gerekirse; “word count” kelime sayısı işaretini kaldırdığınız takdirde hangi sayfada kaç kelime olduğu bilgisini çıkarmış olursunuz.

Derinlemesine bir analiz yapmak için tüm seçenekleri aktif tutabilir ya da önemsiz olarak gördüğünüz seçenekleri çıkartabilirsiniz.

Limits Bölümü

Tarayıcının limitlerini tanımlayacağınız bölüm, limits bölümüdür. Özellikle çok sayıda içerik ve sayfa barındıran web sitelerin analizinde, limits bölümünden faydalanabilirsiniz.

• Tarama Toplamını Sınırla: Taranacak toplam URL sayısını ifade etmektedir. Analizleri URL sayısı ile sınırlandırmak mantıklı bir tercih olmadığı için bu seçeneği kullanmayı tavsiye etmiyoruz.
• Tarama Derinliğini Sınırla: Bu seçenek ile taramak istediğiniz derinliği sınırlandırabilirsiniz. Örneğin ana sayfanın bir tık uzağında bulunan sayfalar seviye 1 olarak tanımlanmaktadır. Maksimum derinlikte analiz yapmak daha sağlıklıdır.
• Maksimum Klasör Derinliğini Sınırla: Bu seçenek ile analiz sırasında ulaşmasını istediğiniz klasör derinliğini limitleyebilirsiniz.
• Takip Etmek için Maksimum Yönlendirme Sayısı: Tarayıcının takip etmesi gereken maksimum yönlendirme sayısı bu seçenek ile belirlenir.
• Taranacak Maksimum URL Uzunluğu: Genellikle kullanılan bir özellik değildir. URL uzunluğunu sınırlandırmak bazı sayfaları ıskalamanıza yol açabilir.
• URL başına maksimum bağlantı: Taranan sayfalarda URL başına maksimum bağlantı sayısını belirleyebilirsiniz
• Maksimum Sayfa Boyutu: Analiz edilecek sayfanın maksimum boyutunu buradan seçebilirsiniz. Özellikle zamandan tasarruf etmek için bu seçeneği kullanabilirsiniz. Ama ayrıntılı analizlerde kullanmak mantıklı olmayacaktır.

Rendering Bölümü

Özellikle javascript çerçevesinde çalışan web siteleri taramak isterseniz, bu bölüm oldukça faydalı olacaktır.

Screaming Frog, taranan sayfaların ekran görüntülerini sizin için alacaktır. Ekran görüntülerini, URL’ye tıkladığınızda tarama sonucunda bulmanız mümkündür.

Eğer ki görünüm optimize edilmemiş ise sol alanda yer alan engellenmiş kaynakları inceleyin. Ajax Timeout seçeneğini değiştirmek yardımcı olabilir.

Bu ayarları yaptıktan sonra, standart ayarları tamamlamış olursunuz. Daha profesyonel bir yaklaşım için Gelişmiş ayarlara geçebilirsiniz. Gelişmiş ayarlar arasında aşağıda yer alan ayarlar bulunmaktadır;

• Yüksek bellek kullanımında durdur: Screaming Frog hafıza sınıra ulaştığında analizi durdurur ve kaydeder. Dilediğiniz zaman devam etme imkanınız bulunmaktadır.
• Sürekli yönlendirmeyi takip et: Yönlendirme zincirleri olduğu durumlarda kullanışlı bir ayardır.
• Yanıt Zaman Aşımı (sn): Bir web sayfasının yüklenmesi için gerekli maksimum süredir. Belirlenen süreyi geçtiği takdirde bağlantı zaman aşımına uğradı uyarısı 0 kodu ile bildirilmektedir.

Preferences Bölümü

Bu bölüm sayesinde Screaming Frog’un sizler için hangi metrikleri hata olarak tarafınıza bildirmesini ayarlayabilirsiniz.

• Maksimum resim boyutları
• Meta açıklama sorunları
• Başlık sorunları

Yukarıda yer alan sorunlar belirlenen limitlerin dışında olması durumunda sorun olarak tanımlanır. Örneğin içerik başlıklarına maksimum karakter sayısı verebilirsiniz. 60 karakter olarak belirlediğiniz takdirde 60 karakterin üzerindeki başlıkla sorunlu olarak karşınıza çıkar.

Robots.txt

İlk kısmında çok sayıda konfigürasyonu tamamlamış olduk. Biraz sıkılmış olabilirsiniz ama sağlıklı bir SEO analizi yapmak için yapılandırma ayarlarını sağlıklı bir şekilde gerçekleştirmek gerekir.

Sıradaki konu ise Robots.txt’dir. Web siteleri için büyük bir öneme sahiptir. İlk bölümden çok daha kolay bir yapılandırma bölümü olduğu söylenebilir. Menü üzerinden robots.txt seçimi ile robots.txt dosyasının yapılandırılmasını gerçekleştirebilirsiniz. Herhangi bir site Screaming Frog ile analiz yapılmasına izin vermiyorsa, robots.txt dosyasını devre dışı bırakabilirsiniz.

Kontrol paneli üzerinden robots.txt dosyasını simüle etmeniz mümkün. Bu sayede, değişiklikleri test edebilir ve etkisini görerek analiz sonrasında orjinalini değiştirebilirsiniz. Unutmayın, yapılan hiçbir değişiklik online robots.txt dosyası üzerinde bir değişikliğe yol açmaz.

URL Yeniden Yazma (URL Rewriting)

Bu özellikle sayesinde URL’Leri yeniden yazmak mümkün olacaktır. Tarayıcıya, vereceğiniz parametreleri yok saymasını söyleyebilirsiniz. Özellikle sayfalar üzerinde test yapmak isteyenler için kullanışlı bir özelliktir.

Dahil Et ve Hariç Tut (Include & Exclude)

En çok kullanılan özelliklerden biridir. Bol sayfalı web siteleri için çok fazla kullanılmaktadır. Web sitenin sadece belirli bir kısmını analiz etmek istediğinizde bu yapılandırmayı gerçekleştirmeniz zamandan tasarruf etmenizi sağlar.

Büyük ölçekte web siteleri için tüm siteyi analiz etmek çok uzun zaman alacaktır ve sonrasında da merak etmediğiniz çok sayıda veri içerisinden ihtiyaç duyduklarınızı bulmanız gerekir. Bunun yerine sadece ihtiyaç duyduğunuz alanları analiz edebilirsiniz.

Hız (Speed)

Analiz etmek istediğiniz web siteyi, ne kadar sürede analiz etmek istediğinizi belirleyebilirsiniz. Özellikle büyük ölçekteki sitelerin analizi çok uzun sürebilir. Zamanınız olmadığında hız seçeneği ile çok daha kısa sürede analizi tamamlayabilirsiniz.

Daha hızlı bir şekilde analiz talep edildiği takdirde, site üzerinde yavaşlama gerçekleşebilir. Bunun sonucunda ziyaretçi deneyiminde olumsuzluklar baş gösterir. Bu nedenle, bu seçenek çok dikkatli bir şekilde kullanılmalıdır. Gereğinden fazla hızlı bir analiz talep ederseniz, sunucunuz çökebilir veya ip engeli yaşanabilir. 2-5 aralığında yapılandırma, sağlıklı bir tercih olacaktır.

Sunucuya aşırı yüklenmemek için teknik ekip ile birlikte bu seçeneği kullanmak mantıklı olabilir.

Kullanıcı – Ajans Seçimi (User- Agent Configuration)

Hangi ajans veya aracı ile analizi yapmak istiyorsanız onu seçmeniz gerekmektedir. Screaming Frog seçili olarak gelse de dilediğiniz takdirde Google Bot veta Bing Bot ile de tarama işlemini gerçekleştirebilirsiniz.

Bazı sitelerin Screaming Frog ile analiz edilmesi engellenmiş olabilir. Bu gibi durumlarda Google Bot’u veya Bing Bot’u kullanabilirsiniz.

Özel Arama ve Çıkarma:

“Custom Search and Extraction” olarak da geçen bölümde özel aramalar yapmanıza imkan tanınır. Sadece belirli öğelerin bulunduğu sayfaları analiz etmek için bu alanı kullanmanız gerekir.

Sadece ekleme işlemi değil aynı zamanda da analizde görmek istemediğiniz verileri de çıkarmanıza olanak sağlar.

PI Erişimi

API erişimlerini yapılandırmak için kullanılan alandır. Bu sayede diğer araçlardan da faydalanmanız mümkün olur. Örnek vermek gerekirse; Google Analytics, Ahrefs ve Google Arama Konsolu gibi araçlardan yararlanmak için bu araçlardaki verileri, kolay bir şekilde bilgi tablolarına yükleyebilirsiniz.

Kimlik Doğrulama (Authentication)

Her sitenin farklı kullanıcı yaklaşımı olabilir. Bir web sitenin içeriği sadece kayıtlı kullanıcılara açık olabilir. Bu gibi durumlarda kullanıcı adı ve şifre gerekmektedir. Screaming Frog, bu gibi durumlarda sizden kullanıcı adı ve şifre talep eder. Siz de bir üyelik oluşturarak bilgilerinizi Screaming Frog ile paylaştığınızda analizin önünde bir engel kalmamış olur.

Sadece kimlik doğrulama isteyen sitelerde değil aynı zamanda da robots.txt’den dolayı da Screaming Frog’un analiz yapmasına izin vermediği olabilir. Bu gibi durumlarda 2. konfigürasyona dönerek farklı seçenekleri kullanmanız mümkün.

Sistem (System)

Depolama: 500.000’in üzerinde URL bulunduran web sitelerini analiz etmek istediğiniz takdirde bu bölümü kullanmanız gerekir. Bellek depolama ve veritabanı depolama olarak iki farklı temel seçenek bulunmaktadır. Varsayılan seçenekte, Screaming Frog, analiz işlemini gerçekleştirirken bellek depolaması yapmaktadır. Küçük hacimli web siteleri için iyi bir seçenek olsa da 500.000’in üzerinde URL barındıran büyük ölçekli web sitelerinde büyük bir yavaşlama meydana getirir. Bu nedenle, SSD sürücünüzü kullanmanız daha doğru bir tercih olacaktır. Veritabanı depolaması ile birlikte SSD sürücüsünü kullanabilir ve çok daha hızlı bir şekilde sonuca ulaşabilirsiniz.

Hafıza: Bu bölümde, Screaming Frog’un kullanmasına izin verdiğiniz bellek alanını belirleyebilirsiniz. Bellek kullanımını arttırdığınız takdirde Screaming Frog’un URL tarama hızı da artacaktır.

Tarama modu (Crawl Mode)

Spider, varsayılan tarama modudur. URL bilgisinin girilmesi ile birlikte, Screaming Frog bütün web siteyi tarayacak ve bağlantıları takip edecektir. Liste modu ise spesifik bir URL listesini analiz etmeye olanak sağlayan bir tarama modudur.

Bu adım ile birlikte Screaming Frog yapılandırma ayarları tamamlanmış olur. Screaming Frog kullanım kılavuzu sayesinde, karmaşık gibi görünen ayarları adım adım kolay bir şekilde gerçekleştirmiş oldunuz. Şimdi, alınan verilerin nasıl analiz edilebileceğini öğrenme vakti!

Verileri Analiz Etme

Veri analizlerine ve detaylarına geçmeden önce Screaming Frog’un sahip olduğu arayüz hakkında önemli bilgileri öğrenmek gerekir. Temel olarak 3 farklı kısımdan oluşan arayüzün detayları şu şekildedir;

• Sol Üst Kısım: Taranan kaynakların listesi bu kısımda yer almaktadır. Sayfaların listesi, durumları, indekslenebilirlik durumu, kelime sayısı ve diğer metrikler yer almaktadır. Sağ bölümden seçilen analiz bölümlerine göre bu kısım da farklılık gösterir.
• Sol Alt Kısım: Analiz edilen kaynakların detaylı görünümü edinmek istiyorsanız, bu kısmı kullanmanız gerekir. Sayfada yer alan görsellere, bağlantılara ve diğer metriklere genel bir bakış atmak için bu kısım yardımcı olacaktır.
• Sağ menü: Bu alanda optimize edilebilecek detayları bulabilirsiniz. Veri analizinde doğru bir yön ve yorum çıkaracak bilgiler için sağ kısmında yer alan menü yardımcı olacaktır.

Sağ kısımda yer alan özellikleri detaylı bir şekilde incelediğiniz takdirde, aşağıda yer alan metriklere ve özelliklere ulaşabileceğinizi göreceksiniz;

Özet: Web site üzerinde bulunan URL sayısını görebilirsiniz. Bunların içerisinde resimler, HTML sayfaları, robots.txt engeli bulunan dahili ve harici URL sayısı ile genel bir bakış açısı elde edebilirsiniz.

SEO Öğeleri – Dahili öğeler: Web sitenizde yer alan dahili URL’ler bu alanda yer almaktadır.

HTML sayısını bularak, Google üzerinden indekslenen URL sayısı ile karşılaştırabilirsiniz. Bu sayede indekslenme konusunda herhangi bir sorun olup olmadığını tespit etmiş olursunuz. HTML butonuna tıkladığınız takdirde aşağıda yer alan metriklere ulaşabilirsiniz;

• Sayfa durum kodu
• Indekslenebilirlik
• Başlık içerik ve uzunluk bilgileri
• Meta açıklamasının içerik ve boyut bilgileri
• Meta Anahtar Kelime
• H1 etiket içeriği varlığı ve uzunluğu
• H2 içeriği varlığı ve uzunluğu
• Meta Robotlar
• X Robot Etiketi
• Meta Yenileme
• rel next ve rel prev etiketinin varlığı
• Web sayfasının boyutu
• Web sayfasında bulunan kelime sayısı
• Metin oranı: metnin koda olan oranı
• Tarama Derinliği: Hangi derinlik düzeyinde analiz yapıldığı hakkında bilgi. Detaylar için ana konfigürasyon bölümünü tekrar okuyabilirsiniz.
• Dahili bağlantılar
• Harici bağlantılar
• Web sayfasının yanıt süresi
• Yönlendirildiği web sayfası

Yukarıda yer alan metrikleri ve bilgileri sağ sütundaki farklı öğelere göz atarak da bulmanız mümkündür.

SEO Öğeleri – Harici öğeler: Web sitenin dışına çıkan URL’leri temsil etmektedir. Oluşturulan dış bağlantılar burada yer almaktadır. Giden URL’leri analiz etmeniz sayesinde mevcut durumlarını görmüş olursunuz. Bozuk sayfaları, bağlantı hatalarını ve 404’leri tespit edebilirsiniz.

Protokol: Bu bölüm sayesinde HTTP ile HTTPS URL’lerinin tanımlanmasını gerçekleştirebilirsiniz. Yinelenen sayfaların tespiti ve HTTP sayfalarının HTTPS sürümüne yönlendirilmesini yönetmeniz için faydalı olacaktır.

Yanıt Kodu: Web sayfalarının kod türüne göre gruplandığı yerdir. Aşağıda yer alan gruplandırma yapılmaktadır;

• Yanıtsız: Screaming Frog’un tarafından taranamayan sayfalara verilen isimdir.
• Başarılı: Durum kodu 200 olan sayfalar erişilebilir sayfalardır.
• Yönlendirme: Bu bölüm 300 ve sıralı olarak devam eden durum kodlu tüm sayfaları içermektedir.
• İstemci Hatası: 404 durumundaki hatalı sayfalar bu bölümde yer almaktadır.
• Sunucu Hatası: Sunucu hatası gösteren tüm sayfalar

URL: Bu analiz bölümünde, web sitenin sahip olduğu URL listesini, URL’ler ile alakalı sorunları ve iyileştirmeleri bulabilirsiniz. Büyük harfle oluşturulan URL bilgileri ve yinelenen sayfalar bu bölümde yer alır ve düzeltme fırsatı elde etmiş olursunuz.

Meta açıklama: Web sitesinde yer alan meta açıklamaların uzunlukları, varlıkları ve sayıları üzerinden optimizasyon işlemi yapmanıza olanak tanır.

H1 / H2: İçerik içerisinde kullanılan H1 ve H2 başlıklarını görmenizi sağlar. Örneğin her içerik içerisinde bir H1 başlığının yer alması sağlıklı olacaktır. Buna göre birden fazla bulunan içerikler düzenlenebilir.

Görseller: Görsellerin ihtiyaç duyduğu optimizasyonları bu bölüm aracılığı ile planlayabilirsiniz. Analiz sonucunda 100 kb üzerinde bulunan görselleri yeniden oluşturmak ekleyebilirsiniz.

Sayfalandırma: Web sitenin iyi bir şekilde yönetilmesi sağlıklı bir sayfalandırmadan geçer. Sayfalandırma için ihtiyaç duyulan bütün veriler bu alanda bulunmaktadır.

Direktifler: Bu bölüm içerisinde indesklenmemiş sayfaları, takip edilmeyen sayfaları vb. önemli bilgileri bulabilirsiniz.

AMP: SEO ile ilgili sorunları belirleyebileceğiniz önemli bir alandır. AMP sayfalarının detayları bulunmaktadır.

Site Haritaları: Web sitede yer alan içerikler ile site haritaları arasındaki yer alan farklar bu bölümde gösterilmektedir. Site haritası ile ilgili bir şeylerin yanlış gittiğini bu sayede anlayabilirsiniz.

Sayfa hızı: Web sayfalarında yer alan hız sorunları çok kolay bir şekilde belirlenir ve geliştirmeler için detaylı analizler elde edilir. Site hızının SEO üzerindeki etkisi kesinlikle yadsınamaz.

Özel Arama ve Çıkarma: Özellikle bazı öğeleri içeride tutarak veya tam tersi onları aramanın dışında tutarak özel aramalar gerçekleştirebilirsiniz. Bu sayede, sadece odaklandığınız konu ile ilgili analizler elde etmiş olursunuz.

Analytics ve Arama Konsolu: Screaming Frog web tarayıcısını Google Analytics ve Arama Konsolu API’si aracılığı ile bağlayabilir ve bu platformlar üzerinden çok sayıda faydalı bilgiyi elde edebilirsiniz. Mesela belirli bir oranın üzerinde hemen çıkma oranına sahip sayfaları kolay bir şekilde tespit edebilirsiniz.

Bağlantı Metrikleri: Ahrefs gibi üçüncü taraf yazılım API’lerini kullanarak hesaplarınızı bağlayabilir ve önemli metrikler elde edebilirsiniz.

Screaming Frog’un sahip olduğu özellikler onu kullanan kişinin profesyonelliği ile alakalı bir konudur. Bir aracın ne kadar faydalı olduğunu anlamak için öncelikle onun ne işe yaradığını ve onunla yapılabilecekleri bilmek gerekir. Bu nedenle SEO uzmanlarının sıklıkla kullandığı bir araç olsa da başlangıç seviyesinde hobi olarak blog açan kişilerin çok sıcak bakmadığı bir web tarayıcı araçtır. Başlangıç seviyesinde webmaster tecrübesi olanlar, kullanmaya başlamaları ile birlikte kısa süre içerisinde alışacak ve birçok özelliğinden faydalanacaktır. Birçok özelliği ücretsiz sunması sayesinde, masrafsız bir şekilde SEO çalışması yapmak isteyenler için öne çıkan bir web tarayıcıdır.