Robots.txt Nedir? Kullanım Komutları - Can Cankıran
Anasayfa SEO Robots.txt Nedir? Kullanım Komutları
Yazan Can Cankıran 19 Mart 2019
19 Mart 2019 2191 görüntülenme
Arama motorlarının en önemli görevi, web sitelerinde tarama yapmak ve bu sonuçları arşivine katmaktır. Bazı durumlarda, oluşturduğunuz sitede önemli bilgileri içeren kısımları, arama motorlarının erişemeyeceği şekilde ayarlamak isteyebilirsiniz. Robots.txt ismi verilen dosya, bu amaçla kullanılabilecek metodlardan biridir.
Robots.txt dosyasına sahip olan bir sitenin önemli bölümlerini kolay şekilde arama motorlarına kapatabilirsiniz. Diğer bazı işlevleri yerine getirmek amacıyla da kullanılabilir. Örneğin arama motoru örümceklerinin sitenizde geçireceği zamanı kısıtlamak vb. amaçlarla da bu yöntemi kullanabilirsiniz. Bu yazımda, SEO çalışmalarında önemli bir yer tutan Robot.txt dosyasının ne olduğundan ve kullanım komutlarından bahsedeceğim.
Robots.txt adı verilen dosya, arama motorlarının sitenizin hangi kısmına erişebileceğini, hangi dizinleri tarayabileceği, hangi arama motoru yazılımlarının sitenize giriş izni olduğunu belirlemeniz için çalışan temel bir komut dosyası olarak anlatılabilir. Örümcek ismiyle de bilinen arama motoru yazılımları, bir siteye ulaştığında ilk olarak bu dosya ile karşılaşır. Bu dosyada belirtilen komutlara göre, yazılım, dizine eklenecek sayfaları dizine ekler. Yani Robots.txt dosyası, arama motoru robotlarına sitedeki belli kısımlar hakkında takip et ya da takibi bırak gibi talimatlar vermenizi sağlar.
Robots.txt, arama motorlarının tarama yazılımlarına yani botlarına – örümceklerine talimat vermenizi sağlayan bir yazılımdır.
En anlaşılır şekliyle bir tanım yapmak gerekirse, Robot.txt, sitenizin sınırlarını belirlemektedir. Bu dosya sayesinde, arama motoru yazılımlarının hangilerinin sitenize girebileceğini ya da giremeyeceğini, sitenizin hangi sayfalarında dolaşabileceğini belirler.
Siteniz için çok önemli olan Robots.txt dosyası olması gerektiği şekilde hazırlanırsa, arama motorlarının örümcekleri buradaki kurallara uygun bir şekilde sitenizi tarar. Böylece sonuçlarda çıkmasını istemediğiniz sayfalar çıkmaz. Çıkmasının istemediğiniz sayfaları belirlemek amacıyla komut hazırlamaya ise Robot Engelleme Protokolü (ya da Robot Engelleme Standartı) denir.
Kısacası, Robots.txt dosyası, tüm Web sitelerinde kesinlikle bulunmalıdır. Sitenin iyi şekilde çalışması için, bu dosya mutlaka gereklidir. Bir sitenin Robots.txt dosyası iyi şekilde hazırlanmamış ise, site, arama motorlarının yazılımları tarafından dikkate alınmaz. Daha kötüsü, sayfanızın, taranmasını istemediğiniz bölümleri de yazılımlar tarafından dizine eklenebilir. Bu gibi sorunlarla karşılaşmamak için, sitenizin Robot.txt dosyası düzgün hazırlanmalıdır.
Yazının buraya kadarki kısmında, Robots.txt dosyasının neden önemli olduğunu ve nasıl kullanılabileceğini anlatmaya çalıştım. Bundan sonraki kısımda ise, bu dosyanın nasıl hazırlanabileceğinden, kullanılabilecek komutlardan bahsedeceğim.
İlk olarak, Robots.txt dosyası hazırlanırken ilk dikkat edilmesi gereken nokta, Robots.txt dosyasının, sitenin url yapısına uygun olmasıdır.
Dikkat edilmesi gereken diğer bir nokta da, robot.txt sayfasının, site url’sinin kök dizininde olması gerekliliğidir.
Örneğin; http:/www.siteadi.com/robots.txt doğru bir kullanımken,
http:/www.siteadi.com/anasayfa/robots.txt yanlış bir robots.txt kullanımı örneğidir.
Robots.txt dosyası oluştururken üzerinde mutlaka durmanız gereken başka bir nokta da UTF-8 karakter kodlamasına uygunluğa dikkat ederek ve sadece düz metinlerden ibaret olmayan bir şekilde bu dosyayı hazırlamaktır. Sitenizdeki içeriğe göre, Robots.txt dosyası, değişken ve dinamik bir yapıda olmalıdır. Zira, dosya içeriğini belli kriterlere göre devamlı olarak güncellemeniz gerekebilir.Siteniz için iyi olan da budur. Dosyada güncelleme yaparken, dosyanın kullanımda kalıyor olmasına dikkat edilmeli, dosyanın her zaman çalıştığından emin olunmalıdır.
Robots.txt dosyasını hazırlamak için belli komutlar kullanmaya ihtiyaç vardır. Bu komutları temel olarak üç başlıkta toplayabiliriz. Grup komutları, grup dışı komutlar ve notlar ve yorumlar bu başlıklardır.
Grup komutlarında net ifadelere yer verilir. Komutarda bir yazım hatası meydana gelmesi veya var olmayan sayfaların veya dizinlerin koda konulması durumunda o komut dosyası çalışmaz. Ayrıca; komutlarda küçük veya büyük harf kullanmanın bir etkisi olmayacağını da belirtmem gerekir.
Bu komutu, arama motorlarının sitenize erişip erişemeyeceğini belirlemek için kullanabilirsiniz. Arama motorları örümceklerinizin, sayfanızın tamamına erişmesini istemediğiniz durumlarda,
Allow-disallow komutlarını kullanarak, arama motoru yazılımlarını yönlendirebilirsiniz. Web sitenizdeki her sayfanın taranmasını istemiyorken, geri kalan sayfaların taranmasını istiyor olabilirsiniz. Örneğin, http://siteadi.com/haber/googledan-yeni-algoritma sayfasının arama motorlarınca taranmasını istemiyor ama diğer sayfaların taranmasını istiyorsanız
komutunu verebilirsiniz. Bu şekilde, ziyaretçiler sayfayı görebilecek ama arama motorları tarayamayacaktır.
Bu komutu kullanarak, bir sayfayı değil, bütün bir dizini de arama motorlarının erişimine kapatabilirsiniz. Örneğin,
user-agent: *disallow: /haber/
komutu ile, haber dizinini arama motorlarına tamamen kapatabilirsiniz.
Arama motoru botlarının sayfada geçireceği zamanı kısıtlamak da doğru komutlarla mümkündür.Fakat bu komutu, yoğun şekilde ziyaretçi akını olan ve bu yüzden ziyaretçilerine hizmet verememe sorunu yaşayan siteler haricine önermeyiz. Bu işlemin komutu, crawl-delay komutudur. Sitenizdeki bir arama motoru botunun bir dakikadan fazla zaman geçirmeden taramasını tamamlamasını istiyorsanız
user-agent:googlebot crawl-delay: 1
Robots.text dosyanızı Google Search Console – Robots.txt test cihazıyla denetleyebilirsiniz.
Bu komutlar genel olarak, sitenizin haritasını, arama motorlarının botlarına mümkün olduğu kadar hızlı şekilde sunma amacındadır. Arama motorlarının botları, sitenize uğradıkları anda ilk olarak robot.txt sayfanız ile karşılaşacaktır. Bu yüzden, site haritanızın URL’si, Robots.txt dosyası içine düzgün bir biçimde yerleştirilirse, tüm işlemler verdiğiniz komutlara uygun olacak ve böylece site haritanız öncelikli bir biçimde değerlendirilmeye alınacaktır.
Web sitenizde çalışan başka kişiler varsa, bu kişileri bilgilendirmeniz gereken bazı durumlar ortaya çıkabilir. Bu durumlarda, sayfanızın tasarımcısına, yazılımcısına ya da web sitenizle bir şekilde ilgilenen bir uzmana not düşmeniz ya da yorum yapmanız gerekebilir. Not bırakmanız gerektiğinde #işareti yapıp hemen arkasından notunuzu yazabilirsiniz. Arama motorlarının botları # işaretinden sonraki kısmı görmezden gelecektir.
disallow: /forum/ #
Forum sayfasındaki görseller güncellendikten sonra arama robotu yazılmaları sayfaya erişebilecek.
Bu yazımda, Robot.txt dosyasının ne olduğundan ve hangi komutların ne işe yaradığından bahsetmeye çalıştım. Arama motorlarının sitenizi taramasına yardımcı olan diğer yöntemler hakkında bilgi edinmek için sitemap.xml nedir? başlıklı yazımı da okumanızı tavsiye ederim. Daha sonraki yazılarımda da SEO çalışmaları hakkında bilgi vermeye devam edeceğim.