.NET Core’da Arama Motorları Engelleme
.NET Core, web uygulamaları geliştirmek için kullanılan açık kaynaklı bir platformdur. .NET Core uygulamaları, Windows, macOS ve Linux dahil olmak üzere çeşitli platformlarda çalıştırılabilir. .NET Core uygulamaları, arama motorları tarafından taranabilir ve dizine eklenebilir. Ancak, bazen belirli sayfaların veya dizinlerin arama motorları tarafından taranmasını ve dizine eklenmesini engellemek isteyebilirsiniz.
.NET Core’da arama motorları engellemenin birkaç yolu vardır. Bu yollardan biri, robots.txt dosyası kullanmaktır. robots.txt dosyası, arama motorlarına hangi sayfaların taranmasını ve dizine eklenmesini istemediğinizi belirtir. robots.txt dosyası, web uygulamanızın kök dizininde bulunmalıdır.
robots.txt dosyasının içeriği aşağıdaki gibidir:
User-agent: *
Disallow: /private/
Bu robots.txt dosyası, tüm arama motorlarına /private/ dizinindeki sayfaları taramasını ve dizine eklemesini engelleyecektir.
Arama motorları engellemenin bir diğer yolu da, meta etiketleri kullanmaktır. meta etiketleri, HTML belgelerinin başlık bölümünde bulunur. meta etiketleri, arama motorlarına belirli bilgiler sağlar.
Arama motorları engellemek için kullanabileceğiniz meta etiketleri şunlardır:
robotsetiketi:robotsetiketi, arama motorlarına belirli bir sayfanın taranmasını ve dizine eklenmesini isteyip istemediğinizi belirtir.noindexetiketi:noindexetiketi, arama motorlarına belirli bir sayfanın dizine eklenmesini engelleyecektir.nofollowetiketi:nofollowetiketi, arama motorlarına belirli bir sayfadaki bağlantıları takip etmemesini söyleyecektir.
Aşağıdaki örnek, robots etiketini kullanarak arama motorlarına belirli bir sayfanın taranmasını ve dizine eklenmesini engellemektedir:
<meta name="robots" content="noindex, nofollow">
Arama motorları engellemek için kullanabileceğiniz bir diğer yol da, HTTP başlıkları kullanmaktır. HTTP başlıkları, web sunucusu tarafından web tarayıcısına gönderilen bilgilerdir. HTTP başlıkları, arama motorlarına belirli bilgiler sağlar.
Arama motorları engellemek için kullanabileceğiniz HTTP başlıkları şunlardır:
X-Robots-Tagbaşlığı:X-Robots-Tagbaşlığı, arama motorlarına belirli bir sayfanın taranmasını ve dizine eklenmesini isteyip istemediğinizi belirtir.noindexbaşlığı:noindexbaşlığı, arama motorlarına belirli bir sayfanın dizine eklenmesini engelleyecektir.nofollowbaşlığı:nofollowbaşlığı, arama motorlarına belirli bir sayfadaki bağlantıları takip etmemesini söyleyecektir.
Aşağıdaki örnek, X-Robots-Tag başlığını kullanarak arama motorlarına belirli bir sayfanın taranmasını ve dizine eklenmesini engellemektedir:
X-Robots-Tag: noindex, nofollow