Blogger Özel robots.txt Dosyası Düzenlemek
Blogunuza seo yapıyorsanız bu dosyayı da düzenlemenizi öneririm. Özellikle Google’ ın çok ince ayrıntılara takılıp sorun çıkarttığını nerdeyse hepimiz biliyoruz.
Bu yüzden Böyle bir makale yazmayı düşündüm.
Blogger panelinize girin.
“Ayarlar>Arama Tercihleri” Kısmına gidin.
Alt tarafta “Özel robots.txt” kısmını göreceksiniz.
Üzerine tıklayıp eveti seçin.
Altta açılan pencereye aşağıda vermiş olduğum Robots.txt içeriğini yapıştırın.
Son olarak “Değişiklikleri Kaydet” deyip çıkın.
Yapıştırdığınız metinin içersinde bilmediğiniz birçok terim var biliyorum. Bunun için o terimlerin anlamını da aşağıda açıklayacağım.
Sitemap: Adından da belli olduğu gibi, sitenizin dizin haritasını belirler. Arama motorlarının botları geldiği zaman bildirir.
Allow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişip bundakileri gönül rahatlığı ile indexleyebilirsin diyor.
Disallow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişemezsin paşam, erişip napıcaksın indexlenmesin istiyorum benim malım bende kalsın diyor.
User-agent: (Bot ismi) : Bu komut ile de istediğimiz arama motorunun botuna istediğimiz izni verebiliyoruz. Bu sayede botlar uzun uzun uğraşmaktansa listeden kendi adına bakıyor neler yapabilir görüyor, işini halledip gidiyor.
Azıcıkta botlardan bahsedelim.
Ninjabot : Google dan görsel açı harici pek farkı yoktur, bazı öncelikleri vardır temel yapı olarak google ile birebir aynı diyebiliriz, zaten google’ın logosunu kıyıda köşede bir yerlerde görürsünüz bu arama motorunda.
Googlebot : Sitemizde ki yazıları, sayfaları tarar
Googlebot-Mobile : Mobil kullanıcılar için yazıları, sayfaları tarar
Googlebot-Image : Google görseller için sitemizde ki resimleri tarar
Mediapartners-Google : Sitenizde yayınlanan adsense reklamlarının içeriğini belirlemek için sitemizi tarar
Adsbot-Google : AdWords açılış sayfası kalitesini ölçmek için sayfaları tarar.