robots.txt

robots.txt, içerdiği küçük komut dizisiyle arama motorlarına yol gösteren bir dosyadır. Bu komutlar, sitenize olan erişimi tam olarak ya da bölüm bazında ve belirli user-agent’a göre göstermek için kullanılanılır. Sitenizi indeksleyen arama motoru robotlarını yönetmenin en kolay ve etkin yöntemidir.

Bir çok arama motoru genellikle sitenizi taramadan önce bu dosyayı okur ve burada yer alan komutlar doğrultusunda tarama işlemi gerçekleştirir. Bu noktada bilmeniz gereken nokta tüm web tarayıcılarının (crawler), robots.txt dosyasında yer alan bilmeyebilir. Fakat Google, Bing, Yandex gibi büyük arama motorları bu dosyayı destekler ve indeksleme işlemi robots.txt dosyanızda bulunan yönergeler doğrultusunda gerçekleştirilir. Yani robots.txt dosyasında yer alan komutlar tamamen tavsiye niteliğinde ve isteğe bağlıdır; teorik olarak da web robotları bu kurallara ihtiyaç duymaz. Yani sitenize bir robots.txt dosyası koymanız, mahremiyetinizi garanti altına almamaktadır. Ama yine de arama motorları sitenizi büyük ölçüde bu dosyanın yönlendirdiği şekilde sitenizi indeksler.

Buradaki hatırlatmak istediğimiz bir konu sitenize ait yönetim paneli, özel dizinleriniz gibi indekslenmesini istemeyeceğiniz yolları (path) bu dosyaya belirtmemeniz gerekir. Çünkü robots.txt dosyasını herkes görebildiği için bu tür hassas içeriklerinizin, klasörlerinizi bilgisini ve yolunu davetsiz misafirlere açık etmemeniz gerekir. Bu tür sayfa veya dizinleri korumak için şifre veya ip bazlı erişime açma gibi yöntemleri kullanmanız önerilir.

 

robots.txt Nasıl Oluşturulur?

Öncelikle dosyanın adı “robots.txt” olmalıdır; tamamen küçük harfle. “robots.txt” dosyanız sitenizin sadece kök dizinine yerleştirilmeli ve UTF-8 karakter kodlamasına sahip olmalıdır.

Örnek vermek gerekirse

Doğru: https://www.iebc.net/robots.txt

Yanlış: https://www.iebc.net/dosyalar/robots.txt

Ayrıca sitenizde hangi protokolü kullanıyorsanız bu protokole uygun olmalıdır. Örneğin SSL sertifikası kullanıyorsanız:

Doğru: https://www.iebc.net/robots.txt

Yanlış: https://www.iebc.net/robots.txt

gibi…

KaydetKaydet

KaydetKaydet

KaydetKaydet


Bedri Yılmaz

7 yaşına kadar İsviçre’de yaşamış, babasının doktora eğitiminin sona ermesiyle birlikte ailesiyle birlikte İstanbul’a gelmiştir. Fevziye Mektepleri Vakfı Özel Işık Lisesi’nden mezun olmuş, ardından İstanbul Üniversitesi İktisat Fakültesi İngilizce İktisat bölümünü bitirmiştir. Kocaeli Üniversitesi İşletme Fakultesi İşletme Yönetimi ve Organizasyonu yüksek lisans eğitimi görmüştür. İş hayatına üniversite süresince dış ticaret ile uğraşarak başlamış, özellikle ihracat alanında yoğunlaşmıştır. Ayrıca ev tekstili ithalatına yönelmiş, Türkiye’de bayiler ile bir dağıtım ağı oluşturmuştur. Ardından reklam ajanslarında yönetici pozisyonlarında faaliyet gösterdikten sonra ticari faaliyetlerine ara vermiş, çocukluktan beri merak saldığı fotoğrafçılık alanında uzmanlaşmaya karar vermiştir. Türkiye’nin birçok yerini fotoğrafçılık amaçlı gezmiş, fotoğraf ve video çekimi alanındaki çalışmalarını uzmanlık seviyesine taşımıştır. Havadan drone çekimleri, tanıtım filmleri, kamu spotları konularında prodüksiyon hizmetleri gibi alanlarda birçok proye imza atmıştır. Çevre Bakanlığı’nın doğal sit alanlarının fotoğraflanması, video çekimlerinin yapılması, Çorum İl Kültür ve Turizm Müdürlüğü için İncesu Kanyonu’nun tanıtım filminin ve sosyal medya atağının yapılması, Fatih Belediyesi’nce Türkçe ve İngilizce olarak basılan “Fatih’in Sokaklarında Tarihe Yolculuk” isimli kitapta yer alan Fatih ve Eminönü sokaklarının çekimlerinin yapılması gibi projelerde yer almıştır. Fotoğrafları çeşitli karma sergilerde yer almış en son olarak Çevre ve Şehircilik Bakanlığı’nın sergisinde yer almıştır. Öte yandan çeşitli dernek ve vakıflarda faaliyet göstermekte, gönüllü olarak çeşitli sosyal sorumluluk projelerinde bulunmaktadır. İFSAK (İstanbul Fotoğraf ve Sinema Amatörleri Derneği), Fotoğrafmetre, Gülümseyin Çekiyorum, Lotus Sanat, Art-Istannbul gibi fotoğrafçılıkla ilgili dernek ve gruplara üyeliği vardır. Sosyal medya yönetimi ve itibar yönetimi konularında uzmandır. Bu konulardaki bilgi birikimini Internet e-Business Company’nin (iebc.net) internet sitesinde ve kişisel sitesinde (bedriyilmaz.com.tr) blog yazılarıyla paylaşmaktadır.

Benzer Yazılar

İçeriği Tüm Google Ürünlerinden Kaldırma
Okunan 29
Daha önceki yazılarımızda google aramalarından internet sitenizi nasıl kaldırabileceğinizi göstermiştik. Google çok büyük internet şirketi. İnternet k...
İnfografik
Okunan 129
Bilgilendirme grafikleri ya da infografikler; bilgi, veri ve bilgi birikimlerini görsel olarak sergileyen grafiklerdir. Bu grafikler çok karışık konul...
Google Sitenizin Kaç Sayfasını İndekslemiş, Bilmek...
Okunan 25
İnternet kullanıcıları google'da bir arama yaptığında o aradıkları kelime sizin sitenizde mevcutsa kullanıcılara sizin sitenizin linkini gösterir. Pek...
Doodle
Okunan 31
Doodle'lar, google tarafından tatil günlerini ve yıl dönümlerini kutlamak, ünlü sanatçıları, kâşifleri ve bilim insanlarını anmak amacıyla Google logo...