Robots.txt Optimizasyonu: Googlebot’u Yanlışlıkla Engellemeyin
Robots.txt dosyası Teknik SEO’nun en kritik ama en sık yanlış kullanılan parçalarından biridir. Çünkü robots.txt ile Googlebot’un hangi sayfaları tarayacağını siz belirlersiniz. Dosyayı yanlış yapılandırırsanız Google sitenizi anlayamaz; hatta daha kötüsü, bot sitenize hiç ulaşamaz.
Birçok sitede insanlar robots.txt dosyasını ya boş bırakıyor ya da internette bulduğu rastgele bir şablonu kopyalıyor. Bu yaklaşım özellikle e-ticaret ve içerik sitelerinde tarama bütçesini boşa harcar. Çünkü Googlebot yüzlerce gereksiz URL’ye girip çıkar. Üstelik bazı siteler yanlışlıkla önemli sayfaları da engeller ve sayfalar dizine giremediği için görünürlük kaybeder.
Robots.txt Ne İşe Yarar?
Robots.txt aslında bir erişim ve tarama yönetimi dosyasıdır. Arama motoru botları sitenizi taramaya başlamadan önce robots.txt dosyasına bakar. Dosyadaki kurallarla botlara “buraya gir, şuraya girme” dersiniz.
Burada kritik bir ayrım var: Robots.txt bir index kaldırma aracı değildir. Robots.txt yalnızca taramayı yönetir. Google bir sayfayı daha önce indexlediyse ve siz sonradan robots ile o sayfayı engellerseniz, sayfa bazen arama sonuçlarında garip şekilde kalabilir. Bu yüzden index yönetimi için çoğu zaman noindex daha doğru çözümdür.
Robots.txt ile En Çok Yapılan Hatalar
Teknik SEO’da robots.txt hataları genelde şu 3 başlıkta toplanır:
1) Önemli sayfaları engellemek
En klasik hata, yanlışlıkla sitenin tamamını veya kritik klasörleri engellemektir.
Örneğin şu satır felakettir:
Bu kural sitenin tamamını taramaya kapatır. Googlebot sitenizi göremez.
2) Parametreli sayfaları kontrolsüz bırakmak
E-ticaret sitelerinde filtreleme URL’leri örneğin:
-
?color= -
?size= -
?sort=
Bu URL’leri kontrolsüz bırakırsanız Googlebot hepsini tarar. Böylece crawl budget boşa gider ve siteniz gereksiz yere duplicate sayfa üretir. Sonuç olarak Google, önemli sayfalara daha geç ulaşır.
3) Robots ile noindex’i karıştırmak
Robots.txt taramayı durdurur ama noindex gibi çalışmaz. Bir sayfanın indexlenmesini istemiyorsanız robots.txt ile uğraşmayın. Sayfaya meta robots noindex ekleyin ve işi net şekilde çözün.
Robots.txt Optimizasyonu Yaparken Sitemap’i Unutmayın
Robots.txt optimizasyonu yaparken sitemap mantığını da doğru kurmak gerekir. Çünkü Googlebot’u bazı URL’lerden uzaklaştırırken taranmasını istediğiniz sayfaları da net şekilde işaretlemeniz gerekir. Bu yüzden robots.txt düzenlerken sitemap.xml tarafını da optimize etmek kritik bir adımdır: https://veriodakliseo.com/sitemap-xml-optimizasyonu/
Robots kurallarını Google’ın nasıl yorumladığını görmek için Google’ın resmi robots.txt rehberini de inceleyebilirsiniz: https://developers.google.com/search/docs/crawling-indexing/robots/intro
Robots.txt Nasıl Optimize Edilir?
Robots.txt optimizasyonunun hedefi çok nettir:
- Googlebot’u gereksiz URL’lerden uzak tut
- Önemli sayfaların taranmasını kolaylaştır
Bu yüzden robots dosyanızda şu yaklaşım işe yarar:
-
Admin alanlarını engelleyin
-
Arama sayfalarını engelleyin
-
Gereksiz parametreli sayfaları kontrol altına alın
-
Kategori/ürün/hizmet sayfalarına dokunmayın
Örnek bir yapı:
Bu yapıyla hem güvenliği artırırsınız hem de tarama verimliliğini iyileştirirsiniz.
Veri Odaklı Kontrol: Robots.txt Doğru mu?
Robots.txt’in doğru çalışıp çalışmadığını tahminle anlamazsınız. Veriye bakarak kontrol edersiniz.
En pratik 3 kontrol:
-
Google Search Console robots test aracı
-
GSC “Sayfalar” raporunda Blocked by robots.txt hataları
-
Screaming Frog taramasında robots kaynaklı crawl blokları
Eğer önemli sayfalarınız “blocked” görünüyorsa robots.txt dosyanız yanlış kural içeriyor demektir. Bu durumda gereksiz engelleri temizleyin ve Googlebot’un kritik sayfalara ulaşmasını sağlayın.
Robots.txt Küçük Dosya, Büyük Etki
Robots.txt küçük bir dosya olabilir ama etkisi büyüktür. Yanlış kurgu sitenin tamamını taramaya kapatabilir. Doğru kurgu ise Googlebot’u gereksiz URL’lerden uzaklaştırır ve tarama bütçesini gerçekten değerli sayfalara yönlendirir.
Kısacası robots.txt optimizasyonu Teknik SEO’da “ince ayar” değildir; doğrudan görünürlük yönetimidir.
Yazıya Yorum Bırak