Robots.txt Nedir? Ne işe yarar? | Blackhat SEO - Hacklink - Hacklink Satış
Posted by blackhatseo 23 Haziran 2018 in Optimizasyon
Robots.txt bir metin dosyasıdır Sayfaları arama robotları söylemek tanıtmak sitenizde ana dizinde bulunan dosyasıdır. Robots.txt Her arama motorları için zorunlu anlamına gelir O robots.txt sitenizi taramasını arama motorları engelleyecek bir yol netleştirmek için önemlidir ve bir robots.txt dosyası koymak için gerçeği (yani bir güvenlik duvarı veya şifre koruması ) gibi bir şeydir Bir kilidi kapıya “, girmeyiniz Lütfen” not koyarak – örn geliyor hırsızlar engel olamaz ama iyi adamlar kapı açın ve girmeyecektir.
Robots.txt Dosyasının içeriği
Disallow kullanarak index istemediğiniz yeri belirleyebilirsiniz Disallow kullandığınızda arama motoru indexlemiyecek ve arama botlar girmiyecektir.
Örnek ana dizinde bulunan robots.txt dosyası;
Sitenizi indexlenmeye kapatmak için komut;
Sitenizdeki belli bir resmin Google görsel aramalarında yer almasını engellemek için;
robots robots nedir robots.txt