Google Örümceklerinin Kullanımını ve Site Yükseltme - İmrahor.Net - Paylaşımla Gelen Dostluk
Konu: Google Örümceklerinin Kullanımını ve Site Yükseltme
11-28-2016, 04:25 #1
"Crawler" olarak da bilinen arama motoru "örümceği (spider)" Google gibi arama motorlarının web üzerinde ne olup bittiğini bulması için geliştirilmiş bir yazılımdır. Web dünyası çok geniş bir alandır, bu yüzden bu alanda gezinen ve her gün her saniye web'e ne önerildiğini gören bir şeye ihtiyaç vardır. İşte bu noktada, örümcekler devreye girer.
Bilgilerinize bakan örümcek, sayfa yüklendikten sonra, her bir sayfadaki köprülerinizin (hyperlink) hepsini takip eder. Bir örümceğin ağlarda sürünüp diğer böcekleri yakaladığı gibi, bu "örümcek" yazılımı da web üzerindeki siteleri tek tek dolaşır ve sonunda sizin bilgilerinize de ulaşır.
Örümcek sitenizi ziyret ettiği zaman, sayfanızdaki içerik bir veri tabanına yüklenir. Web siteniz alındıktan sonra, arama motorları, içeriğinizi indekslerine yükler.Google örümcek dolaşıp sayfalarınızı bulur, sayfanızdaki bütün kelimeleri analiz eder ve sonra bütün URL'lerinizi programı içinde güçlendirir.
Sayfanızı ziyaret ettiği zaman bir örümceğin yaptığı ilk şey, "robots.txt" denilen dosyayı bulmaktır. Bu, örümceğe neyi indeksleyip indekslememesi gerektiğini söyleyen özel bir dosyadır. Eğer örümcek dosyayı bulamazsa, bu sayfayı dikkate almayacaktır. Bu yüzden de, arama motorları tarafından fark edilmeyebilirsiniz. Bir örümceğin sayfanızı görmesini sağlamanın tek yolu "robots.txt" dosyasına sahip olmaktır. Örümcek, sayfanızı köprüleri veya "aranan sayfaları" takip ederek bulacaktır.
11-28-2016, 04:50 #2
googlenin örümceğide var örümcek zaten basit bişey deyil demekki
11-28-2016, 04:50 #3