Crawl budget (tarama bütçesi), Google'ın sitenizde belirli bir sürede tarayabileceği ve taramak istediği URL sayısıdır. Çoğu site için endişelenmeyi gerektirmez; ama büyük ve sık güncellenen sitelerde, önemli sayfaların ne kadar hızlı keşfedileceğini doğrudan etkiler.
İçindekiler
Crawl budget nedir?
Googlebot internetteki her sayfayı sınırsız sıklıkla tarayamaz. Hem kendi kaynaklarını hem de sitenizin sunucusunu korumak için her site için bir tarama sınırı belirler. Bu sınır iki unsurun birleşimidir: tarama kapasitesi ve tarama talebi.
Tarama kapasitesi sınırı
Googlebot'un sitenizi yormadan aynı anda kaç bağlantı açabileceğini ve istekler arasında ne kadar bekleyeceğini ifade eder. Sunucunuz hızlı ve hatasız yanıt veriyorsa sınır yükselir; yavaşlıyor ya da 5xx hataları veriyorsa Google taramayı azaltır.
Tarama talebi
Google'ın sitenizi ne kadar taramak istediğidir. Popüler sayfalar, sık güncellenen içerikler ve site taşıma gibi büyük değişiklikler talebi artırır. Değersiz ya da yinelenen görünen URL'ler ise talebi düşürür.
Crawl budget kimleri ilgilendirir?
Google'ın kendi dokümantasyonuna göre tarama bütçesi esas olarak şu siteler için önemlidir:
- Çok sayıda (yüz binlerce ve üzeri) benzersiz sayfası olan büyük siteler
- İçeriği çok sık (örneğin günlük) değişen orta ve büyük ölçekli siteler
- Search Console'da çok sayıda URL'yi "Keşfedildi – şu anda dizine eklenmemiş" olarak gösteren siteler
Birkaç bin sayfalık bir kurumsal site ya da blog için tarama bütçesi genellikle sorun değildir. Bu sitelerde sayfalar indekslenmiyorsa nedeni çoğunlukla içerik kalitesi, iç linkleme ya da teknik engellerdir.
Tarama bütçesini neler tüketir?
Bütçe sorunu çoğu zaman "az bütçe" değil, bütçenin değersiz URL'lere harcanmasıdır. En sık gördüğümüz nedenler:
- Filtre ve parametre kombinasyonları: Renk, beden, sıralama gibi filtrelerin ürettiği milyonlarca URL (bkz. Faceted navigation ve SEO)
- Yinelenen içerik: Aynı içeriğin farklı URL'lerde (www/non-www, parametreli/parametresiz) erişilebilir olması
- Yönlendirme zincirleri: Bir URL'nin birkaç yönlendirmeden geçerek hedefe ulaşması
- Soft 404 sayfaları: İçeriği olmadığı hâlde 200 durum kodu döndüren sayfalar
- Yavaş sunucu yanıtları: Tarama kapasitesini doğrudan düşürür
Tarama bütçesi nasıl ölçülür?
İki temel kaynak vardır. Birincisi Search Console'daki Tarama istatistikleri raporudur: günlük tarama isteği sayısını, ortalama yanıt süresini, durum kodlarına göre dağılımı ve taranan dosya türlerini gösterir.
İkincisi sunucu loglarıdır. Loglar, Googlebot'un hangi URL'leri ne sıklıkla taradığını kesin olarak gösterir. Böylece bütçenin önemli sayfalara mı, yoksa filtre URL'lerine ve eski sayfalara mı harcandığını görebilirsiniz.
Log analizi yaparken isteklerin gerçekten Googlebot'tan geldiğini doğrulayın; Googlebot kimliğine bürünen botlar sonuçları yanıltabilir.
Tarama bütçesini verimli kullanmanın yolları
- Değersiz URL'leri taramaya kapatın. Taranmasını istemediğiniz parametreli ve filtreli URL'ler için robots.txt kullanın. noindex etiketi sayfanın dizine eklenmesini engeller ama taranmasını engellemez.
- Kaldırılan sayfalar için 404 ya da 410 döndürün. Soft 404'ler Google'ın aynı sayfaları tekrar tekrar taramasına yol açar.
- Yönlendirme zincirlerini kısaltın. Her eski URL'yi tek adımda nihai hedefe yönlendirin.
- XML sitemap'i güncel tutun. Yalnızca indekslenmesini istediğiniz, 200 durum kodlu ve canonical URL'leri ekleyin; lastmod değerlerini doğru verin.
- Sunucu yanıt süresini iyileştirin. Hızlı ve kararlı yanıtlar tarama kapasitesini artırır.
- Önemli sayfalara güçlü iç link verin. İç linkler Google'a hangi sayfaların öncelikli olduğunu söyler.
Sonuç
Tarama bütçesi her site için öncelik değildir; ama büyük ve dinamik sitelerde önemli sayfaların zamanında keşfedilmesini belirler. Önce Tarama istatistikleri ve loglarla durumu ölçün, ardından bütçeyi tüketen değersiz URL'leri temizleyin. Sitenizde tarama ve indeksleme sorunları olduğunu düşünüyorsanız Teknik SEO denetimi iyi bir başlangıç noktasıdır.
İlgili hizmet: Teknik SEO Denetimi