İngiltere Günlükleri 3. Etap - Serpil Yıldırım Eroğlu İngiltere Günlükleri

robots.txt

robots.txt, içerdiği küçük komut dizisiyle arama motorlarına yol gösteren bir dosyadır. Bu komutlar, sitenize olan erişimi tam olarak ya da bölüm bazında ve belirli user-agent’a göre göstermek için kullanılanılır. Sitenizi indeksleyen arama motoru robotlarını yönetmenin en kolay ve etkin yöntemidir.

Bir çok arama motoru genellikle sitenizi taramadan önce bu dosyayı okur ve burada yer alan komutlar doğrultusunda tarama işlemi gerçekleştirir. Bu noktada bilmeniz gereken nokta tüm web tarayıcılarının (crawler), robots.txt dosyasında yer alan bilmeyebilir. Fakat Google, Bing, Yandex gibi büyük arama motorları bu dosyayı destekler ve indeksleme işlemi robots.txt dosyanızda bulunan yönergeler doğrultusunda gerçekleştirilir. Yani robots.txt dosyasında yer alan komutlar tamamen tavsiye niteliğinde ve isteğe bağlıdır; teorik olarak da web robotları bu kurallara ihtiyaç duymaz. Yani sitenize bir robots.txt dosyası koymanız, mahremiyetinizi garanti altına almamaktadır. Ama yine de arama motorları sitenizi büyük ölçüde bu dosyanın yönlendirdiği şekilde sitenizi indeksler.

Buradaki hatırlatmak istediğimiz bir konu sitenize ait yönetim paneli, özel dizinleriniz gibi indekslenmesini istemeyeceğiniz yolları (path) bu dosyaya belirtmemeniz gerekir. Çünkü robots.txt dosyasını herkes görebildiği için bu tür hassas içeriklerinizin, klasörlerinizi bilgisini ve yolunu davetsiz misafirlere açık etmemeniz gerekir. Bu tür sayfa veya dizinleri korumak için şifre veya ip bazlı erişime açma gibi yöntemleri kullanmanız önerilir.

 

robots.txt Nasıl Oluşturulur?

Öncelikle dosyanın adı “robots.txt” olmalıdır; tamamen küçük harfle. “robots.txt” dosyanız sitenizin sadece kök dizinine yerleştirilmeli ve UTF-8 karakter kodlamasına sahip olmalıdır.

Örnek vermek gerekirse

Doğru: http://www.iebc.net/robots.txt

Yanlış: http://www.iebc.net/dosyalar/robots.txt

Ayrıca sitenizde hangi protokolü kullanıyorsanız bu protokole uygun olmalıdır. Örneğin SSL sertifikası kullanıyorsanız:

Doğru: https://www.iebc.net/robots.txt

Yanlış: http://www.iebc.net/robots.txt

gibi…

KaydetKaydet

KaydetKaydet

KaydetKaydet


Bedri Yılmaz

Yazar hakkındaki bilgilere Yazar Hakkında Linkinden ulaşabilirsiniz. Bedri Yılmaz'ın biri Türkçe biri de İngilizce yayın yapan iki internet sitesi bulunmakta. Türkçe sitesine bu linkten, İngilizce sitesine ise bu linkten ulaşabilirsiniz.

Benzer Yazılar

Google’dan Şeffaflık Raporu
Okunan 17
Google telif hakkı ihlali nedeniyle içerik kaldırma taleplerinin istatistiklerini ve verilerini paylaştığı bir internet sayfası yayınlıyor. Bu linkten...
Arama Sitelerine Sitenizi Ekleme
Okunan 13
Yeni bir alan adı alıp bir site yaptınız diyelim. Arama sitelerinin yaptığınız bu internet sitesinden haberi olmazsa arama sitelerinin arama sonuçları...
Google Sitenizin Kaç Sayfasını İndekslemiş, Bilmek...
Okunan 16
İnternet kullanıcıları google'da bir arama yaptığında o aradıkları kelime sizin sitenizde mevcutsa kullanıcılara sizin sitenizin linkini gösterir. Pek...
Google Trends
Okunan 29
Trend kelimesi yönelme, meyil, eğilim anlamlarına gelir. Arama motorlarında trend olmak ise anahtar kelimenin arama motorunda diğer kelimelere göre da...

Yazar hakkındaki bilgilere Yazar Hakkında Linkinden ulaşabilirsiniz. Bedri Yılmaz'ın biri Türkçe biri de İngilizce yayın yapan iki internet sitesi bulunmakta. Türkçe sitesine bu linkten, İngilizce sitesine ise bu linkten ulaşabilirsiniz.

Yorum Yazın

Back to site top