Robots dosyası nedir?
robots.txt nedir? robots.txt ne işe yarar?
Robots.txt dosyası oluşturularak sitenin kök dizinine yerleştirilir. Bu dosyanın amacı arama motorlarının siteyi taramasına yardımcı olmak ve hangi dosyaların taranıp hangi dosyaların taranmayacağını belirlemek amacıyla oluşturulur.
Robots.txt dosyası arama motorlarına yardımcı olduğu için sitenize faydalı dönüş sağlar.Robots.txt dosyası oluşturarak arama motorlarına ve arama motorları araçlarına çeşitli talimatlar verebilirsiniz.
Bu işlemin tüm tarayıcılar için geçerli olmasını istiyorsanız;
Sitenizin sadece tek bir alanının değil tüm alanlarının dizin dışı kalmasını istiyorsanız;
Sadece tek bir görselin veya alt sayfanın taranmasını engellemek istiyorsanız;
Belirli bir dizinin engellenmesini ama bu dizine ait alt dizinin taranmasını istiyorsanız;
AdWords’e ait tüm görüntülerin organik dizinden çıkarılmasını istiyorsanız;
Robots.txt hakkında ayrıntılı bilgi almak istiyorsanız bizimle iletişime geçebilirsiniz.
Furkan Emir Karagöz
Verdiğiniz faydalı bilgilerden ötürü çok teşekkür ederim başarılarınızın devamını dilerim.