Google Robots Engelleme
Google robots engelleme, Googlebot’un belirli web sayfalarına veya dizinlere erişmesini engelleme işlemidir. Bu, çeşitli nedenlerle yapılabilir, örneğin:
- Gizli veya hassas bilgileri korumak için
- Henüz tamamlanmamış veya yayınlanmamış sayfaları arama sonuçlarından uzak tutmak için
- Yinelenen veya benzer içeriği önlemek için
- Sunucu yükünü azaltmak için
Google robots engelleme, robots.txt dosyası kullanılarak yapılır. Robots.txt dosyası, web sitenizin kök dizinine yerleştirilen ve Googlebot’a hangi sayfalara erişebileceğini ve hangilerine erişemeyeceğini söyleyen bir metin dosyasıdır.
Robots.txt dosyasının temel yapısı aşağıdaki gibidir:
User-agent: *
Disallow: /gizli/
Bu örnekte, Googlebot’un “/gizli/” dizinine erişmesi engellenmiştir.
Robots.txt dosyasında kullanabileceğiniz diğer direktifler şunlardır:
- Allow: Googlebot’un belirli bir sayfaya veya dizine erişmesine izin verir.
- Crawl-delay: Googlebot’un web sitenizi taraması arasındaki gecikme süresini belirler.
- Sitemap: Googlebot’a web sitenizin site haritasının yerini söyler.
Robots.txt dosyasını oluştururken dikkat etmeniz gereken birkaç nokta vardır:
- Robots.txt dosyası, web sitenizin kök dizinine yerleştirilmelidir.
- Robots.txt dosyası, UTF-8 karakter kodlamasıyla kaydedilmelidir.
- Robots.txt dosyasında yalnızca İngilizce karakterler kullanılmalıdır.
- Robots.txt dosyasında yorum satırları kullanabilirsiniz. Yorum satırları, “#” karakteriyle başlar.
Google robots engelleme hakkında daha fazla bilgi için aşağıdaki kaynakları ziyaret edebilirsiniz: