Arama Motoru » SEO » Sayfalarınızın indekslenmesi için Google Search Console Kapsam raporu nasıl kullanılır?
İsmail Emrah Demirayak - SEO 14 Şubat 2020
Eğer bir SEO uzmanıysanız ve sitelerin teknik yönlerini de ele alıyorsanız, Google Search Console’un “Kapsam” raporunu mutlaka kullanıyor olmalısınız.
Kapsam raporu; hangi URL’lerin Google tarafından tarandığını ve indekslendiğini, hangilerinde ise bu işlemlerin yapılmadığını anlamak, ve daha da önemlisi, arama motorunun neden bu seçimi yaptığını anlamak için çok önemli bir araçtır.
Raporu değerlendirmek ise, trafik ışığı renk şeması sayesinde nispeten kolay sayılabilir.
İndekslenme Hızını Arttırma Yolları
Google Search Console Kapsam raporu nasıl kullanılır?
Kırmızı (Hata): Dur! Sayfalar indekslenmemiş.
Sarı(Geçerli ancak uyarılar var): Zaman ayırabiliyorsanız, durup incelemeniz tavsiye edilir. Yoksa, devam edin. Sayfalar indekslenmediği takdirde, geriye dönüp hataları giderebilirsiniz.
Yeşil (Geçerli): Her şey yolunda. Sayfalar dizine eklenmiş.
Sorun şu ki, bu üç renk dışında “Hariç tutuldu” etiketiyle göreceğiniz gri bir bölge var. Detayları okudukça, kuralların “Google”a ait, bilinmeyen bir dilde açıklandığını düşünebilirsiniz.
Bu nedenle, bugün, “Kapsam Raporu”ndaki durum türlerini, indekslemeyi geliştirmek ve organik performansı artırmak için almanız gereken SEO çalışmalarına çevireceğiz.
SEO etkileyen: Bu ihlalleri öncelikli olarak ele alın.
Keşfedildi – şu anda dizine eklenmemiş
Tarandı – şu anda dizine eklenmemiş
Kullanıcı tarafından seçilen standart sayfa olmadan kopya
Gönderilen URL bulunamadı (404)
Sunucu hatası (5xx)
Dizine eklenmiş, ancak robots.txt tarafından engellenmiş
Üzerine düşünülmesi gereken: SEO stratejinize bağlı olarak bunlar işlem gerektirebilir veya gerektirmeyebilir
Dizine eklendi, site haritasına gönderilmedi
Robots.txt tarafından engellendi
Gönderilen URL robots.txt tarafından engellendi
‘Noindex’ olarak işaretlenmiş gönderilen URL
Gönderilen URL, yetkisiz istek döndürüyor (401)
Gönderilen URL bir Soft 404 gibi görünüyor
Doğal durum: Herhangi bir işlem yapılması gerekmez.
Gönderildi ve dizine eklendi
Standart kurallı etikete sahip alternatif sayfa
“Noindex” etiketi tarafından hariç tutuldu
Sayfa kaldırma aracı tarafından engellendi
“Kapsam Raporu”nda SEO etkileyen sorunlar
Yalnızca hataları düzeltmeye odaklanmayın. Genellikle daha büyük hatalar/potansiyeller hariç tutulan gri bölgeye gömülür.
Aşağıda, SEO için gerçekten önemli olan ve öncelik sırasına göre listelenen kapsam raporu sorunlarından bahsettik.
Google Search Console indekslediği sayfaların kesin analizlerini vermeye başladı
Keşfedildi – şu anda dizine eklenmiş değil
Sebep: URL, Google tarafından genellikle bağlantılar veya XML site haritası tarafından bilinir ve tarama için bekliyordur. Ancak Googlebot henüz denetleme için ortalıkta yoktur. Bu, bir tarama bütçesi sorununu gösterir.
Yapılması gereken: Yalnızca birkaç sayfa ise, Google Search Console’daki URL’leri göndererek manuel olarak tarama isteğinde bulunabilirsiniz. Çok miktarda sayı varsa, tarama bütçesi sorunlarını kaynağında çözmek için web sitesi mimarisinin (URL yapısı, site sınıflandırması ve dahili bağlantı dahil) düzeltmesi için zaman ayırın.
Tarandı – şu anda dizine eklenmiş değil
Sebep: Googlebot URL’yi taradı ve içeriği indekslenmeye değer bulmadı. Bunun nedeni genellikle ince içerik, eski içerik, giriş sayfaları veya kullanıcı tarafından oluşturulan spam gibi kalite sorunlarından kaynaklanmaktadır.
Yapılması gereken: Sayfanın içeriğini gözden geçirin.
Googlebot’un sayfanın içeriğini neden indekslenmeye değer görmediğini anlarsanız, kendinize ikinci bir soru sorun. Bu sayfanın web sitemde bulunması gerekiyor mu?
Cevap hayır ise, URL’yi 301 veya 410 haline getirin. Evetse, içerik sorununu çözene kadar bir noindex etiketi ekleyin. Veya parametre tabanlı bir URL ise, sayfanın en iyi uygulama parametresi işlemesi ile taranmasını önleyebilirsiniz.
İlk dalga, sayfayı sunucudaki ilk HTML’yi baz alarak indeksler. Sayfa kaynağını sağ tıkladığınızda gördüğünüz şey budur.
İndeks işlemindeki gecikmeleri önlemek için, ilk HTML’de tüm temel içeriğin bulunması için sunucu tarafı oluşturma özelliğini kullanın. Bu, sayfa başlıkları, başlıklar, standartlar, yapısal veriler ve elbette ana içeriğiniz ve bağlantılarınız gibi kurtarıcı SEO öğelerinizi içermelidir.
Sebep: Sayfa Google tarafından kopya içerik olarak kabul ediliyor, ancak açık bir kurallı olarak işaretlenmemiş. Google, bu sayfanın standart olmamasına karar verdi ve dolayısıyla dizinden hariç tuttu.
Yapılması gereken: Web sitenizdeki her taranabilir URL için rel = canonical bağlantılarını kullanarak doğru standart kodu açıkça işaretleyin. Google Search Console’daki URL’yi inceleyerek Google’ın hangi sayfayı standart olarak seçtiğini anlayabilirsiniz.
Sebep: Yukarıdaki durumla aynı, bu durum haricinde, bu URL’yi örneğin XML site haritanıza göndererek açıkça indekslenmesini istediniz.
Yapılması gereken: Web sitenizdeki her taranabilir URL için rel = canonical bağlantılarını kullanarak doğru standart kodu işaretleyin ve XML site haritanıza yalnızca standart(canonical) sayfalar eklediğinizden emin olun.
Sebep: Sayfada rel = canonical bağlantısı var, ancak Google bu öneriye katılmıyor ve standart olarak dizine eklemek için farklı bir URL seçti.
Yapılması gereken: Google’ın seçtiği standart URL’yi görmek için URL’yi inceleyin. Aynı fikirdeyseniz, rel = canonical bağlantısını değiştirin. Aksi takdirde, yinelenen içerik miktarını azaltmak ve kurallı olmasını istediğiniz sayfaya daha güçlü sıralama sinyalleri göndermek için web sitenizin mimarisi üzerinde çalışın.
Sebep: Muhtemelen XML site haritanız aracılığıyla gönderdiğiniz URL mevcut değil.
Yapılması gereken: URL’yi oluşturun veya XML site haritanızdan kaldırın. Dinamik XML site haritalarının en iyi uygulamasını izleyerek bu hatayı sistematik olarak önleyebilirsiniz.
Sebep: Googlebot yönlendirme ile ilgili sorun yaşadı. Bunun en yaygın nedeni, beş veya daha fazla URL uzunluğundaki yönlendirme zincirleri, yönlendirme döngüleri, boş bir URL veya aşırı uzun bir URL’dir.
Yapılması gereken: Yönlendirmeyi neyin kırdığını ve böylece nasıl ele alınacağını anlamak için Lighthouse gibi bir hata ayıklama aracı veya httpstatus.io gibi bir durum kodu aracı kullanın.
Eski yönlendirmeleri düzenlemek anlamına gelse bile, 301 yönlendirmelerinizin her zaman doğrudan son hedefi gösterdiğinden emin olun.
Sebep: Sunucular, sayfa yükleyemedikleri zaman 500 HTTP yanıt kodu (diğer bir deyişle Dahili Sunucu Hatası) döndürür. Daha geniş sunucu sorunlarından kaynaklanabilir, ancak çoğu zaman Googlebot’un sayfayı taramasını engelleyen kısa bir sunucu bağlantısı kesilmesinden kaynaklanır.
Yapılması gereken: Eğer nadiren olan bir şeyse, strese girmeyin. Bir süre sonra hata kendi kendine gider. Sayfa önemliyse, URL incelemesinde dizine ekleme isteğinde bulunarak Googlebot’u URL’ye geri çağırabilirsiniz. Hata tekrarlanıyorsa, sunucu altyapısını iyileştirmek için sistem mühendisiniz / teknoloji lideriniz / hosting sağlayıcınızla konuşun.
Sebep: Bir şey URL’nin taranmasını engelledi, ancak Google bile tam olarak ne olduğunu bilmiyor.
Yapılması gereken: 4xx veya 5xx düzeyinde yanıt kodlarının döndürülüp döndürülmediğini görmek için URL İnceleme aracını kullanarak sayfayı getirin. Bu size ipucu vermezse URL’leri geliştirme ekibinize gönderin.
Dizine eklenmiş, ancak robots.txt tarafından engellendi
Sebep: robots.txt dosyasını, kilidi açık bir kapıdaki “giriş yok” işaretinin dijital eşdeğeri olarak düşünün. Googlebot bu talimatlara uyarken, bunu ruhu değil, yasaları takiben yapar. Dolayısıyla, arama sonuçlarında görünen robots.txt dosyasında özellikle izin verilmeyen sayfalarınız olabilir. Çünkü engellenen bir sayfada bağlantılar gibi başka güçlü sıralama sinyalleri varsa, Google bunu indekslemeye uygun görebilir.
Yapılması gereken: Bir sayfanın SERP’lerde görünmesini kesin olarak engellemek için robots.txt dosyasını kullanmayın. Bir noindex etiketi kullanmanız veya yetkilendirme kullanarak sayfaya anonim erişimi yasaklamanız gerekir.
Noindex etiketine sahip URL’lerin daha az sıklıkta taranacağını ve uzun süre mevcutsa, sonunda Google’ın sayfanın bağlantılarını da takip etmesine yol açacağını bilin. Bu durum, bu bağlantıları tarama kuyruğuna ve sıralama sinyallerine eklemeyecekleri anlamına gelir, bağlı sayfalara geçirilmez.
Dizine eklendi, site haritasında gönderilmedi
Sebep: URL, büyük olasılıkla bir bağlantı aracılığıyla Google tarafından keşfedildi ve dizine eklendi. Ancak XML site haritasında gönderilmedi.
Yapılması gerekenler: URL’ler SEO ile ilgiliyse, bunları XML site haritanıza ekleyin. Bu, yeni içeriğin hızlı bir şekildeindekslenmesini veya mevcut içerikte güncellemelerin yapılmasını sağlayacaktır. Aksi takdirde, URL’lerin dizine eklenmesini isteyip istemediğinizi düşünün. URL’ler yalnızca kendi değerlerine göre sıralanmaz. Google tarafından dizine eklenen her sayfa, kalite algoritmalarının domain itibarını nasıl değerlendirdiğini etkiler.
Sayfaların dizine eklenmiş, ancak site haritasına gönderilmemiş olması, genellikle sitenin indeks şişmesinden muzdarip olduğunun bir işaretidir. Burada, çok sayıda düşük değerli sayfalar dizine eklenmiş demektir. Bu genellikle filtre bileşimleri, arşiv sayfaları, etiket sayfaları, kullanıcı profilleri, sayfalandırma parametreleri gibi otomatik olarak oluşturulan sayfalardan kaynaklanır. Dizin şişmesi, domain’in tüm URL’lerini sıralama yeteneğini zayıflatır.
Sebep: Googlebot, robots.txt tarafından engellendiği için URL’yi taramayacak. Ancak bu, sayfanın Google tarafından indekslenmeyeceği anlamına gelmez.
Yapılması gerekenler: Sayfanın Google tarafından dizine eklenmediğinden emin olmak için robots.txt engelini kaldırın ve bir noindex yönergesi kullanın.
Sebep: Büyük olasılıkla XML site haritası aracılığıyla gönderdiğiniz URL, robots.txt dosyanız tarafından da engelleniyor.
Yapılması gerekenler: Taranmasını ve indekslenmesini istemiyorsanız URL’yi XML site haritasından kaldırın veya isterseniz engelleme kuralını robots.txt dosyasından kaldırın. Bu dosyayı değiştirmenize
Sebep: Gönderdiğiniz URL, büyük olasılıkla XML site haritası aracılığıyla, robot meta etiketleri aracılığıyla veya HTTP üstbilgisi X-Robots etiketlerinde noindex olarak işaretlenmiştir.
Yapılması gerekenler: Taranmasını ve indekslenmesini istemiyorsanız, URL’yi XML site haritasından kaldırın veya isterseniz noindex yönergesini kaldırın.
Gönderilen URL “unauthorized request (401)” çevirir (401)
Sebep: Google’ın şifre korumalı sayfalar gibi gönderdiğiniz URL’yi tarama yetkisi yok.
Yapılması gerekenler: İçeriğin indekslenmesini önlemek için bir neden yoksa, yetkilendirme gereksinimini kaldırın. Aksi takdirde, URL’yi XML site haritasından kaldırın.
Sebep: Bir şey tarama sorununa neden oluyor, ancak Google bile buna bir ad veremiyor.
Bu yararlı sonuçlar sağlamazsa, eski usül kullanarak URL’yi cep telefonunuzla yüklemeyerek inceleyin, ve sayfada ve kodda ne olduğunu görün.
Gönderilen URL soft 404 gibi görünüyor
Sebep: Google, büyük olasılıkla XML site haritanız aracılığıyla gönderdiğiniz URL’yi soft 404 olarak kabul etti. Yani, sunucu 200 başarı koduyla yanıt veriyor, ancak sayfa:
Boş kategori sayfaları gibi çok az içerik barındırıyor veya hiç içeriği yok.
Anasayfa gibi ilgisiz bir hedef URL’ye yönlendirildi.
Yapılması gerekenler: Sayfa gerçekten mevcut değilse ve kasıtlı olarak kaldırılmışsa, en hızlı ‘deindex’ işlemi için 410 döndürün. Kullanıcıya özel bir “bulunamadı” sayfası görüntülediğinizden emin olun. Başka bir URL’de benzer bir içerik olmadığı sürece, bu durumda sıralama sinyallerini iletmek için 301 yönlendirmesi uygulayın.
Sayfada çok fazla içerik var gibi görünüyorsa, Google’ın tüm içeriği oluşturabildiğinden emin olun. Gerçekten zayıf içerikten muzdaripse, sayfanın var olması için bir nedeni yoksa, 410 veya 301 ise, Google’ın dikkatini çekmek için XML site haritanızdan kaldırın. Zengin içerikli sayfalarınızı güçlendirmek için bir noindex etiketi ekleyin ve uzun vadeli çalışın .
Alakalı olmayan bir sayfaya bir yönlendirme varsa, onu alakalı bir sayfaya yönlendirin. Ancak, mümkün değilse 410’a değiştirin.
Sebep: Yukarıdakiyle aynı, ancak sayfanın indekslenmesini özel olarak talep etmediniz.
Yapılması gerekenler: Yukarıdakine benzer şekilde, Google’a daha fazla içerik gösterin veya uygun şekilde 301 veya 410 kullanın.
Kapsam raporundaki doğal durumlar
Amaç, sitenizin her URL’sinin dizine eklenmesini sağlamak değildir, ancak siteniz büyüdükçe sayının sürekli artması gerekir. Amaç, SEO ilişkili sayfalarınızın indekslenmesini sağlamaktır. Kapsam raporunda hariç tutulan içeriklerinizin bulunması, doğal olmasının yanında, ayrıca faydalı da bir durumdur. Bu, Google’ın alan adınızın itibarını, indekslenmiş tüm sayfalara göre değerlendirdiğini ve web sitenizde bulunması gereken, ancak Google’ın içeriğinizi görmesi için hesaba katılması gerekmeyen sayfaları hariç tutmak için gerekli işlemleri yaptığınızı unutmayın.
Sebep: Sayfayı bir XML site haritası, API ile veya Google Search Console’da manuel olarak gönderdiniz ve Google sayfayı dizine ekledi.
Düzeltme gerekmez: Bu URL’lerin dizinde bulunmasını gerekli görmediğiniz sürece.
Uygun kanonik etiketi olan alternatif sayfa
Sebep: Google, rel = canonical etiketini başarıyla işledi.
Düzeltme gerekmez: Sayfa zaten standart olduğunu doğru şekilde gösteriyor. Ek işlem gerekmiyor.
Sebep: Google sayfayı taradı ve noindex etiketini onayladı.
Düzeltme gerekmez: Ancak, bu URL’lerin dizinde olmasını istemiyorsanız, bu durumda noindex yönergesini kaldırın.
Sebep: 301 veya 302 yönlendirmeniz Google tarafından başarıyla tarandı. Hedef URL tarama sırasına eklendi ve orijinal URL dizinden kaldırıldı.
Düzeltme gerekmez: Bu hariç tutma, yönlendirmeler işlendikçe zaman içinde doğal olarak azalacaktır.
Sebep: Google, URL’yi XML site haritasından farklı olarak, bir web sitesindeki bağlantıymış gibi algıladı. Taranırken, sayfa 404 durum kodu döndürdü. Sonuçta, Googlebot URL’yi zaman içinde daha az tarayacaktır.
Ancak bu her zaman en iyi uygulama olmayabilir. URL’de herhangi bir sıralama potansiyeli varsa, bunlar 404 hatasına kaybedilir. Dolayısıyla, benzer içeriğe sahip başka bir sayfanız varsa, 301 yönlendirmesine geçmeyi düşünün.
Düzeltmeye gerek yok: Sayfanın açılmama sebebi kasıtlı olarak kaldırıldığı içinse, 404 hatasıyla ilgili bir sorun yoktur. Google, 404 hatalarını cezalandırmaz.
Sebep: Google Search Console’da bir URL kaldırma isteği gönderildi.
Düzeltme gerekmez: Kaldırma isteğinin süresi 90 gün sonra dolar. Bu süreden sonra, Google sayfayı yeniden indeksleyebilir.
Genel olarak, önlem almak tedavi uygulamaktan daha iyi ve daha kolaydır. İyi düşünülmüş bir web sitesi mimarisi ve robotların kullanımı genellikle temiz ve net bir Google Search Console Kapsam Raporu sağlar.
Ancak çoğumuz, sıfırdan inşa etmek yerine başkalarının çalışmalarını miras aldığımızdan, kapsam raporu, en çok ihtiyaç duyulan yere odaklamanıza yardımcı olacak çok değerli bir araçtır.
Google’ın sitenizi tarama ve indeksleme konusundaki ilerlemesini izlemek ve SEO değişikliklerinin etkisini belgelemek için her ay raporu tekrar kontrol ettiğinizden emin olun.
Google İndeksleme HatasıGoogle Search ConsoleGoogle Search Console Dizin Kapsamı RaporuGoogle Search Console İndekslenmeGoogle Search Console Kapsam Raporu