Robots.Txt Nedir, Ne İşe Yarar?

Robots.Txt Nedir? Robots.Txt Neden Önemlidir?

Robots.txt, web tarayıcılarına (ör. Googlebot) web sitenizde neleri taramalarına izin verildiğini bildiren kısa bir metin dosyasıdır.

SEO açısından bakıldığında, robotlar .txt önce en önemli sayfaların taranmasına yardımcı olur ve botların önemli olmayan sayfaları ziyaret etmesini önler.

Bir web sitesi veya web sayfası geliştiricisiyseniz, robots.txt dosyasına sahip olmanın sizin için gerekli olduğunu bilmelisiniz.

Robot.txt bir bilgisayar verisini temsil eder. Daha doğrusu, web sitelerinde, tarayıcılara (çoğunlukla arama motorlarınınkilere) web sitelerinin sayfalarını nasıl taramaları gerektiğini söylemek için kullanılan bir metin dosyasıdır.

Daha teknik olarak, bir hariç tutma protokolünün parçasıdırlar ve tarayıcıların web’de nasıl gezindiklerini, içeriğe nasıl eriştiklerini ve içeriği nasıl dizine eklediklerini yöneten standartları temsil ederler.

Robots.Txt Nedir?

Robots.Txt, web sitelerinin arama motoru ve benzeri tarama araçlarına nasıl davranacaklarını gösteren kaynak dosyadır. Arama motorları ve web indeksleme araçları, bu dosyanın olmaması halinde, herhangi bir kural söz konusu olmaksızın siteleri tarayabilir veya kimileri bu dosya var olmadığı zaman siteleri hiç taramamayı tercih edebilir.

Google yönergelerine göre; bir web sitesinin doğru tanınabilmesi ve indekslenebilmesi için bu dosyaya sahip olması gerekir. Hatta Google kendi web yöneticisi araçları içerisinde, bu dosyanın test edilebileceği ve sisteme tanımlanabileceğini araçları da sunar. Bu dosya içerisinde;

  • Bir sitenin arama motorları tarafından taranıp taranmaya olacağına dair talimatlar yer alır.
  • Her arama motoru için ayrı tanımlar girilebilir.
  • Belirli klasörler ve veri yolları tarama kapsamı dışında tutulabilir.

 Robots.Txt Neden Önemlidir?

Tahmin edebileceğiniz gibi, robotlar.txt, tarayıcılar tarafından göz atılma şeklini kontrol ederek web sitenizde önemli bir rol oynamaktadır.

Böylece şunları yapabilir:

  • Google robotlarının yinelenen içeriğe göz atmasını önleme;
  • Sitenin özel bir bölümünün SERP’lerde görüntülenmesini reddetmek;
  • Sitenin dahili arama sonuçları sayfalarının Google Arama Sonuçları‘nda görüntülenmesini reddetmek;
  • Sitenizin belirli öğelerinin arama motorları tarafından dizine eklenmesini reddetmek;
  • Sitenizin aşırı yüklenmesini önlemek için bir tarama süresi belirtin;
  • Botların sitenizin kaynaklarını boşa harcamasını önleyerek sunucunuzun kaynaklarının kullanımını optimize edin.

Robots.Txt Ne İşe Yarar?

Robots.txt dosyasının amacı, tarayıcılara web sitenizin hangi bölümlerine erişebileceklerini ve sayfalarla nasıl etkileşime girmeleri gerektiğini söylemektir.

Genel olarak konuşursak, web sitesindeki içeriğin önce taranabilmesi ve dizine eklenebilmesi önemlidir. Arama motorları, arama sonuçları olarak görünmeden önce sayfalarınızı bulmalıdır.

Ancak, bazı durumlarda, web tarayıcılarının belirli sayfaları (ör. boş sayfalar, web siteniz için giriş sayfası vb.) ziyaret etmesini yasaklamak daha iyidir.

Bu, web sitesini taramaya başlamadan önce tarayıcılar tarafından her zaman kontrol edilen bir robot .txt dosyası kullanılarak sağlanabilir.

Robots.txt dosyası, arama motorlarının taramasını engelleyebilir, ancak dizine eklemesini engelleyemez.

Robots.Txt Faydaları Nelerdir?

Txt dosyası, belirli durumlarda yararlı olabilecek bazı SEO avantajları da vardır. Bu avantajları aşağıdaki şekilde sıralayabiliriz:

1- Tarama Bütçesini Optimize Edin

Tarama bütçesi, Googlebot gibi web tarayıcılarının belirli bir süre içinde tarayacağı veya yeniden tarayacağı sayfa sayısını belirler.

Birçok büyük web sitesi genellikle sık sık taranması veya hiç taranmaması gerekmeyen ve dizine eklenmesi gerekmeyen tonlarca önemsiz sayfa içerir.

Robotları kullanarak.txt arama motorlarına hangi sayfaların taranacağını ve hangilerinin tamamen kaçınılması gerektiğini söyler. Bu da taramanın verimliliğini ve sıklığını optimize eder.

2- Yinelenen İçeriği Yönetme

Robots.txt, sayfalarınızdaki benzer veya yinelenen içeriğin taranmasını önlemenize yardımcı olabilir.

Birçok web sitesi bir tür yinelenen içerik içerir – URL parametrelerine sahip sayfalar, www ve www olmayan sayfalar, aynı PDF dosyaları vb.

Bu sayfaları robotlar aracılığıyla işaret ederek.txt, taranması gerekmeyen içeriği yönetebilir ve arama motorunun yalnızca Google Arama’da görünmesini istediğiniz sayfaları taramasına yardımcı olabilirsiniz.

3- Sunucunun Aşırı Yüklenmesini Önleyin

Robotları kullanmak.txt web sitesi sunucusunun çökmesini önlemeye yardımcı olabilir.

Genel olarak konuşursak, Google ve diğer saygın tarayıcılar genellikle sunucu kapasitesini zorlamadan web sitenizi ne kadar hızlı taramaları gerektiğini belirlemede iyidir.

Ancak, sitenizi çok fazla ve çok sık ziyaret eden tarayıcıların erişimini engellemek isteyebilirsiniz.

Bu gibi durumlarda robotlar.txt tarayıcılara hangi belirli sayfalara odaklanmaları gerektiğini söyleyebilir. Web sitesinin diğer bölümlerini yalnız bırakabilir ve böylece sitenin aşırı yüklenmesini önleyebilir.

Robots.txt Dosyası Nasıl Oluşturulur?

Bir web sitesi için robotların .txt dosyasını oluşturma işlemini nasıl yapacağınızdan bahsedelim ve böylece bu süreçte sorunsuz bir şekilde robots.txt dosyası oluşturun. Robots.txt dosyası oluşturma adımları aşağıdaki şekildedir:

1- Web Siteniz İçin Robots.Txt Dosyasını Oluşturun

Robotlar .txt dosyası manuel olarak oluşturulabilir veya WordPress gibi çoğu CMS’de otomatik olarak oluşturulabilir.

Size iki işlemi de detaylı anlatacağız. Ancak robots.txt dosyasını yüklemeye çalışmadan önce sitenizde bir tane olmadığından emin olun.

2- Kendi robot.txt Dosyanızı Oluşturma

Kendi robot.txt dosyanızı oluşturmak için bir metin düzenleyicisine ihtiyacınız vardır.

Editörünüzü seçip indirdikten sonra, robotunuzun .txt dosyanızı oluşturmak için belirli kurallara uymanız gerekecektir. Bu kurallar aşağıdakilerle ilgilidir:

Robots.txt dosyasının konumu ve biçimi:

  • Dosyanız robots.txt olarak adlandırılmalıdır.
  • Sitenizde yalnızca bir robot .txt dosyasına izin verilir.
  • Robots.txt dosyanız sitenizin kökünde bulunmalıdır.

Robots.txt dosyanızın sözdizimi:

  • Robots.txt dosyası UTF-8 kodlamasına uymalıdır.
  • Dosya bir veya daha fazla talimat grubundan oluşur.
  • Kurala, satır başına ve boş satır başına bir talimata uyulmalıdır.

Robotlarınızı oluşturmak için kullanılacak komutlar (talimatlar veya yönergeler).txt dosyası:

  • User-agent ilk satırdır ve arama motoru robotunun adını içerir. Yasaklamak istediğiniz robotun adını bulmak için robot veritabanına başvurabilirsiniz.
  • İzin verme: Bu komutta, sayfanın URL’sini veya robotlara erişimi yasaklamak istediğiniz klasörü koymanız gerekir.
  • İzin Ver: Bir URL’nin veya klasörün robotlar tarafından araştırılmasına izin vermenizi sağlar.
  • Site Haritası Bu isteğe bağlı talimat Google robotlarına sitenizde keşfetmeleri gereken kısımları belirtmenize olanak tanır.

Metin dosyanız hazır olduğunda, bir sonraki adım web sitenize yüklemek olacaktır.

3- WordPress ile Robot.txt Dosyası Oluşturma

WordPress’te, siteniz için otomatik olarak bir robot .txt dosyası oluşturulur

Bir WordPress sitesi kullanıyorsanız, robots.txt dosyasını kontrol etmek için arama çubuğuna sitenizin URL’sini ve ardından /robots.txt yazmanız yeterlidir. SEO YOAST veya ALL IN SEO gibi eklentileri kullanarak kendi robotlarınızı.txt dosyanızı oluşturabilirsiniz.

SEO YOAST ile robotlarınızın .txt dosyasını oluşturmak için, WordPress’te SEO YOAST uzantısını aramanız, indirmeniz ve yüklemeniz yeterlidir. Ardından etkinleştirin ve uzantı ayarlarına gidin.

Ayarlara girdikten sonra “dosya düzenleyici” yi seçin ve yeni pencerenin yüklenmesini bekleyin. “Robot oluştur.txt dosyasını seçin. Son olarak.txt WordPress tarafından oluşturulan sanal robotların içeriğini düzenleyin ve değişiklikleri kaydedin.

Robots.txt dosyasını ALL In SEO uzantısından da oluşturabilirsiniz. Bunu yapmak için önce uzantıyı indirmeniz, yüklemeniz ve etkinleştirmeniz gerekir.

Ardından, uzantı seçeneklerine girdikten sonra, modül yönetimini seçin ve farklı modüllerin bulunduğu yeni pencerenin yüklenmesini bekleyin. Robots.txt modülünü arayın ve robots.txt dosyanızı ayarlamak için activate (etkinleştir) düğmesine basın.

Artık robotlarınızı.txt dosyanızı manuel olarak veya WordPress’te bir eklenti kullanarak oluşturdunuz. Bir sonraki adım, oluşturulan robotların .txt dosyasının çalışıp çalışmadığını kontrol etmek olacaktır. Bunu yapmak için bir test yapmanız gerekecektir.

4- Robots Txt Dosyanızı Test Edin

Robots.txt dosyasını test etmek için Google’ın bu konudaki talimatlarını uygulamanız yeterlidir.

Özellikle, arama konsolunuza gitmeniz ve tarama sekmesini tıklamanız ardından robotlar.txt test etmeniz gerekir.

Ardından, robots.txt dosyanızı Google’a göndermenize olanak tanıyan bir pencereye erişebilirsiniz.

Robotların Farklı Kullanımları

Burada robotların bazı kullanımlarını göreceğiz.txt dosyası. Ama önce, bir robot.txt dosyasının nihai hedefi hakkında konuşacağız.

Robotların Amacı.txt

Dosyayı başarıyla oluşturup yükledikten sonra, nasıl kullanılacağını bilmek önemlidir.

Robotların kullanımı.txt dosyaları esas olarak reddetmek ve arama motoru robotlarına sitenize erişime izin vermektir.

Gerçekten de talimatlar aynı çalışma moduna sahip değildir. Sağlanan hizmet bir direktiften diğerine farklılık gösterir. Bununla birlikte, talimatların işleyişi iki ifadede özetlenebilir: yetkilendirme ve reddetme.

Yetkilendirme

Bu, tüm web robotlarının sitenizin tüm bölmelerini ve tüm web sayfalarını keşfetmesine izin vermekten ibarettir. İsteğiniz buysa, robotların .txt dosyası bu nedenle gereksizdir çünkü talimatlar görevsizdir.

Bu nedenle, artık web robotlarını tanıyamaz ve kontrol edemezler. Bu nedenle, bu koşullar altında dosyayı yüklemekten kaçınmanız önerilir. Öte yandan, zaten varsa onu çıkarmanız önerilir. Ancak, saklamak istiyorsanız herhangi bir değişiklik yapmadan tamamen boş bırakmalısınız.

Reddetme

Tüm web robotlarının sitenizi keşfetmesini yasaklamak isteyebilirsiniz. Bunu başarmak için, robotların .txt dosyası kurulumu önemlidir. Burada tek bir entegrasyon süreci var: sitenizin tüm web robotlarına erişimini engellemek.

Kaynaklar:

Carlos Silva https://www.semrush.com/blog/beginners-guide-robots-txt/ Erişim Tarihi: 26 Eki 2022, 07:24

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir