robots.txt

robots.txt, içerdiği küçük komut dizisiyle arama motorlarına yol gösteren bir dosyadır. Bu komutlar, sitenize olan erişimi tam olarak ya da bölüm bazında ve belirli user-agent’a göre göstermek için kullanılanılır. Sitenizi indeksleyen arama motoru robotlarını yönetmenin en kolay ve etkin yöntemidir.

Bir çok arama motoru genellikle sitenizi taramadan önce bu dosyayı okur ve burada yer alan komutlar doğrultusunda tarama işlemi gerçekleştirir. Bu noktada bilmeniz gereken nokta tüm web tarayıcılarının (crawler), robots.txt dosyasında yer alan bilmeyebilir. Fakat Google, Bing, Yandex gibi büyük arama motorları bu dosyayı destekler ve indeksleme işlemi robots.txt dosyanızda bulunan yönergeler doğrultusunda gerçekleştirilir. Yani robots.txt dosyasında yer alan komutlar tamamen tavsiye niteliğinde ve isteğe bağlıdır; teorik olarak da web robotları bu kurallara ihtiyaç duymaz. Yani sitenize bir robots.txt dosyası koymanız, mahremiyetinizi garanti altına almamaktadır. Ama yine de arama motorları sitenizi büyük ölçüde bu dosyanın yönlendirdiği şekilde sitenizi indeksler.

Buradaki hatırlatmak istediğimiz bir konu sitenize ait yönetim paneli, özel dizinleriniz gibi indekslenmesini istemeyeceğiniz yolları (path) bu dosyaya belirtmemeniz gerekir. Çünkü robots.txt dosyasını herkes görebildiği için bu tür hassas içeriklerinizin, klasörlerinizi bilgisini ve yolunu davetsiz misafirlere açık etmemeniz gerekir. Bu tür sayfa veya dizinleri korumak için şifre veya ip bazlı erişime açma gibi yöntemleri kullanmanız önerilir.

 

robots.txt Nasıl Oluşturulur?

Öncelikle dosyanın adı “robots.txt” olmalıdır; tamamen küçük harfle. “robots.txt” dosyanız sitenizin sadece kök dizinine yerleştirilmeli ve UTF-8 karakter kodlamasına sahip olmalıdır.

Örnek vermek gerekirse

Doğru: https://www.iebc.net/robots.txt

Yanlış: https://www.iebc.net/dosyalar/robots.txt

Ayrıca sitenizde hangi protokolü kullanıyorsanız bu protokole uygun olmalıdır. Örneğin SSL sertifikası kullanıyorsanız:

Doğru: https://www.iebc.net/robots.txt

Yanlış: https://www.iebc.net/robots.txt

gibi…

KaydetKaydet

KaydetKaydet

KaydetKaydet


Bedri Yılmaz

Yazar hakkındaki bilgilere Yazar Hakkında Linkinden ulaşabilirsiniz. Bedri Yılmaz'ın biri Türkçe biri de İngilizce yayın yapan iki internet sitesi bulunmakta. Türkçe sitesine bu linkten, İngilizce sitesine ise bu linkten ulaşabilirsiniz.

Benzer Yazılar

Google Alerts
Okunan 46
Google Alerts nedir ve nasıl kullanılır, bu videoda bunu anlatmaya çalıştım.
Google’dan Eski İçeriği Kaldırma Talebi Oluş...
Okunan 47
İnternet sitenizden bir içeriği kaldırdınız ya da değiştirdiniz diyelim. Fakat google da kontrol edince hala eski içeriğin gösterildiğini farkediyorsu...
Google Trends
Okunan 40
Trend kelimesi yönelme, meyil, eğilim anlamlarına gelir. Arama motorlarında trend olmak ise anahtar kelimenin arama motorunda diğer kelimelere göre da...
İçeriği Tüm Google Ürünlerinden Kaldırma
Okunan 27
Daha önceki yazılarımızda google aramalarından internet sitenizi nasıl kaldırabileceğinizi göstermiştik. Google çok büyük internet şirketi. İnternet k...

Yazar hakkındaki bilgilere Yazar Hakkında Linkinden ulaşabilirsiniz. Bedri Yılmaz'ın biri Türkçe biri de İngilizce yayın yapan iki internet sitesi bulunmakta. Türkçe sitesine bu linkten, İngilizce sitesine ise bu linkten ulaşabilirsiniz.

Yorum Yazın

Back to site top