Robots.txt Nedir ? Ne İşe Yarar? | Pubtekno
Blogger da robots.txt dosyasını görüntülemek ve değiştirmek için
Dosyayı değiştirmek istediğiniz blogu seçin.
Sayfanın en altında özel robots.txt yi etkinleştirin.
Blogger için örnek bir robots.txt dosyası :
Burada kullandığımız kodları açıklayalım :
User-agent: Mediapartners-Google –> Bu komut Google botlarını indexlemesi için sitemize çağırır.
Disallow: –> Bu komutdan sonra gelen dosyaları botların indexlemesine izin vermeyiz. Örnek olarak yukarıda search kısmını yani arama sonuçları kısmı botlar tarafından indexlenmez. Ve böylece olası bir spam dan kurtulmuş oluruz.
Allow: / Bu komutdan sonra gelen kısım ise indexlenmesine izin verilen kısım.
Sitemap: Bu kısımda ise arama motoru botlarına web sitemizin site haritasının yerini göstermiş oluruz.
Etiketler: robots.txt ne işe yararrobots.txt nedir
Sonraki yazı Dosyalarınızı Ücretsiz Olarak Dönüştürün !
Önceki yazı Bilinmeyen Yönleriyle Deep Web Nedir?
Haziran 28, 2017, 10:38 pm
hep duyuyordum ama ne olduğunu bi türlü çözememiştim bu robots.txt’yi. bu yazı sayesinde çözmüş oldum.
Temmuz 30, 2017, 11:48 pm
robots.txt dikkatli kullanılması lazım yoksa sitenin önemli sayfalarının indexlenmesini önleyebiliriz farkında olmadan.