Googlebot, Google Gibi Getir Rehberi ⋆ Hakan Yerlikaya
SEO By hakanyerlikaya 7 Nisan 2018 Yorum yapılmamış
Googlebot’un sayfalarınızı görmesini sağlamak
Google sayfam sayfalarımı görebilir mi?
Googlebot tüm içeriğime ve bağlantılara tamamen erişebilir mi?
Googlebot bir web sayfasını “nasıl” görür?
Googlebot ve Google Search Console
Googlebot’un yerel olarak bilinir durumda gezinmesi
Googlebot, Google tarafından kullanılan web tarayıcıdır.
Google tarafından web sayfalarını bulmak ve almak için kullanılır.
Google dizini tarafından toplanan bilgiler Google dizinini güncellemek için kullanılır.
Googlebot milyarlarca web sayfasını ziyaret eder ve sürekli olarak web’deki tüm sayfaları ziyaret eder.
Elde ettiği içeriğin başka şeylere bağlantısı varsa, bu not edilir.
Web sayfalarınızın Google’da bulunabilmesi için, Googlebot’a görünmeleri gerekir.
Web sayfalarınızın en iyi şekilde sıralanması için, tüm web sayfası kaynaklarına Googlebot tarafından erişilebilir olmalıdır.
Googlebot içeriğiyle ilgili herhangi bir karar vermez, yalnızca onu alır.
Googlebot’un sahip olduğu tek endişe “Bu içeriğe erişebilir miyim?” ve “Erişebileceğim başka içerik var mı?”
Google dizini, Googlebot’tan aldığı içeriği alır ve sayfaları sıralamak için kullanır.
Google tarafından sıralanmanın ilk adımı Googlebot tarafından alınacaktır.
Googlebot, Google’ın dizinlerini güncellemesinin yolu olduğundan, Googlebot’un sayfalarınızı görebilmesi önemlidir.
Bir webmaster’ın sorması gereken temel sorular …
Googlebot sayfalarımı görebilir “görebilir”?
Daha yakından bakalım …
Google’ın sitenizden gördüğü bir fikir edinmek için aşağıdaki Google araması yapın …
Alan adınızın önüne “site:” yazarak, Google’ın Google’ın siteniz için dizine eklediği sayfaları listelemesini isteyeceksiniz.
Eğer beklediğiniz sayfaların miktarından az görürseniz, size Googlebot’a engellemediğinizden sağlamak için gereken muhtemel olacaktır robots.txt dosyasında (robots.txt dosyası bu Sayfanın altındaki tartışılmaktadır).
Googlebot’un sayfalarınızı görebilmesi, Google’ın bu sayfaların tam olarak ne olduğu hakkında mükemmel bir resme sahip olduğu anlamına gelmez.
Google bot, bir web sitesini insanların yaptığı gibi görmüyor. Yukarıdaki resimde, üzerinde bir görüntü bulunan bir web sayfası bulunmaktadır. İnsanlar görüntüyü görebilir, ancak Googlebot’un gördüğü şey yalnızca bu resmi çağıran koddur.
Googlebot bu web sayfasına (html dosyası) erişebilir, ancak çeşitli nedenlerle söz konusu web sayfasında bulunan görüntüye erişemez.
Bu senaryoda, Google dizini söz konusu resmi içermez. Bu, Google’ın web sayfanızda eksik bir anlayışa sahip olduğu anlamına gelir.
Googlebot, tam web sayfalarını görmez, yalnızca o sayfanın tek tek bileşenlerini görür.
Bu bileşenlerden herhangi biri Googlebot’a erişemezse, bunları Google dizinine göndermez.
Önceki örneğimizi kullanmak için, Googlebot bir web sayfasını (html ve css) görüyor ancak görmüyor.
Bu sadece görüntü değil. Bir web sayfasının birçok parçası var. Google’ın web sayfalarınızı en iyi şekilde sıralayabilmesi için Google’ın tam resme ihtiyacı vardır.
Googlebot’un web içeriğine erişemeyebileceği pek çok senaryo var. Burada birkaç yaygın sorun var.
Sayfa bağlantıları okunamaz veya yanlış
Flash veya web gezginlerinin sorun yaşayabileceği diğer teknolojilere aşırı güvenme
Bozuk HTML veya kodlama hataları
Aşırı karmaşık dinamik bağlantılar
Bu kuralların çoğu, Google yönergeleri aracını kullanarak hızlı bir şekilde kontrol edilebilir .
Google hesabınız varsa, Google arama konsolunda bulunan “getir ve oluştur” aracını kullanın . Bu araç, Google’ın tek bir sayfa için tam olarak gördüğü şeylerin canlı bir örneğini size sağlayacaktır.
Bir web sayfasının aslında farklı olabileceği veya sayfa kaynakları yüklenmemişse farklı içeriklere sahip olduğu giderek daha doğrudur.
Bu senaryoda ve diğerlerinde Google, sayfanızı “görecek” ve hatta anlayabilmektedir, ancak tek başına HTML’nin sunabileceğinden çok başka senaryolarda sıralanabileceğini farketmeye yetmeyebilir.
Bu, Google yönergelerini kullanarak da kontrol edilebilir .
Googlebot, robots.txt standartlarına göre aldığı talimatları izler ve hatta Google’a özgü olarak kontrol etmenin gelişmiş yollarına sahiptir.
Googlebot’u kontrol edebilmenin bazı yolları …
Web sayfalarınızın meta verilerinde robot talimatları dahil
Başlıklarınıza robot talimatları dahil
En yaygın yol, robots.txt dosyasını kullanmaktır.
Robots.txt dosyası, Googlebot gibi arama motoru örümceklerinin web sayfalarınızla nasıl göründüğünü ve etkileşimde bulunduğunu kontrol eder.
Kısacası, bir robots.txt dosyası Googlebot’a, Googlebot’un erişmesini istemediğiniz dosya ve klasörleri listeleyerek sayfalarınızı ziyaret ettiğinde ne yapması gerektiğini söyler.
Google’ın, robot talimatlarından söz eden birkaç kaynağı:
Google’ın robots.txt’i nasıl ele aldığıyla ilgili teknik genel bakış
Robotlar meta etiketleri ve başlıkları
Site Haritaları, Googlebot’un web sitenizi anlamasına yardımcı olabileceğiniz veya Google’ın dediği gibi bir yoldur.
“Bir site haritası, sitenizin web sayfalarını listelemek için Google ve diğer arama motorlarına site içeriğinizin düzenlenmesi hakkında bilgi verebileceğiniz bir dosyadır. Googlebot gibi arama motoru web tarayıcıları, sitenizi daha akıllıca taramak için bu dosyayı okur.”
Google devletler site haritaları iyi özellikle belirli senaryolarda kullanıldığını …
Siteniz çok büyük.
Sitenizin, birbiriyle bağlantılı veya birbiriyle bağlantılı olmayan geniş bir içerik sayfası arşivi var.
Siteniz yeni ve ona çok az harici bağlantı var.
Siteniz zengin medya içeriği kullanıyor, Google Haberler’de gösteriliyor veya diğer site haritaları ile uyumlu ek açıklamalar kullanıyor.
Site haritaları artık pek çok şey için kullanılıyor, ancak Googlebot’a göre, site haritaları temel olarak Googlebot’un web sayfalarınızı ziyaret ederken rehber olarak kullanabileceği URL’lerin ve diğer verilerin bir listesini oluşturur.
Google burada site haritalarının nasıl oluşturulacağını açıklıyor .
Googlebot’u kontrol edebileceğiniz başka bir yer Google search console.
Googlebot web sunucunuza çok hızlı erişiyorsa , tarama hızını değiştirebilirsiniz .
Ayrıca, Googlebot’un web sitenize nasıl eriştiğine, robots.txt dosyanızı test ettiğine, Googlebot tarama hatalarını görebildiğinize ve Google’ın web sayfalarınızı nasıl gördüğünü anlamanıza yardımcı olacak “getirme ve işleme” isteklerini gerçekleştirebileceğiniz bir genel bakış görebilirsiniz .
Dokuz farklı Google web tarayıcısı var.
Her birinin ayrıntılarını öğrenmek isterseniz, Google tarafından sağlanan Google tarayıcıları yardım sayfasını ziyaret ettiğinizden emin olun (Kullandığı her bir web tarayıcısıyla ilgili ayrıntıları listeler).
Birkaç Googlebot olduğundan, birçok Googlebot Kullanıcı aracı var, en önemli olanlara bakalım:
Sayfalarınız isteğin yerine veya diline bağlı olarak farklı diller veya içerik gösteriyorsa, Googlebot tüm içeriğinizi her zaman göremeyebilir ( hreflang kullanmanızı önerir ).
Ancak bu makale Googlebot ile ilgilidir ve Googlebot’un dil ve yer tabanlı içerik için yapmaya başladığı şey ilginçtir.
Kullanıcılar sayfanızı ziyaret ettiğinde ve farklı içerikler için bir yer veya dil tabanlı bir çözümünüz varsa, İtalya’daki bir kullanıcı İtalyan içeriğini görecek ve Amerika’daki bir kullanıcı İngilizce içeriği görecektir.
Googlebot Amerika’da yerleşiktir, bu nasıl çalışır? Googlebot, İtalyan içeriğini nasıl görecek?
Googlebot, yerele duyarlı tarama yapmak için iki temel teknikten (Google’ın bize bahsettiği) yararlanıyor …
Coğrafi dağılmış tarama: Googlebot, ABD’de yerleşik olarak görünen Googlebot’un kullandığı uzun süredir IP adreslerine ek olarak ABD dışında IP adresleri kullanıyor gibi görünüyor.
Dile bağımlı tarama: Googlebot, HTTP üstbilgisinde ayarlanmış bir Kabul Etme alanıyla tarar.
Başka bir deyişle, Googlebot, web’i herhangi bir yerden bir kullanıcı olarak taramak için yöntemler kullanır, ancak (ve bu büyük bir “ama”), Google hala hreflang kullanmanızı önerir .
Karar almak için her zaman Google resmi yardım sayfalarında yerele duyarlı Googlebot tarama sayfasını kontrol edin !
Bu makaledeki bağlantıların çoğu resmi Google yardım sayfalarına gider.
Google’ın Googlebot (veya başka bir konu) hakkında söylediği her şeyi görmenin iyi bir yolu, bu sitedeki “Google’a Sor” aracını kullanmaktır. Yalnızca resmi Google dokümanlarını arar.
Author Hakan Yerlikaya
rel=nofollow ⋆ Hakan Yerlikaya
[…] önceliği, Googlebot gibi arama motoru tarayıcılarının sitenizle etkileşimde bulunma şeklini değiştirmek […]
SEO için Tam Kapsamlı Robots.TXT Rehberi ⋆ Hakan Yerlikaya
[…] dosyası, web sunucunuza bir dosyaya erişip erişmemeleri gerektiğinde Googlebot gibi webcrawlers’a söyleyen basit bir metin […]