Robots.txt Dosyası Nedir, Neden Önemlidir?

Robots.txt dosyası, bir domain etki alanının hangi bölümlerinin bir Googlebot tarafından taranabileceğini ve hangi bölümlerinin taranamayacağını tanımlayan bir metin dosyasıdır. Ayrıca robots.txt dosyası, XML site haritasına bir bağlantı içerebilir.

Robots.txt Nedir?

Robots.txt adlı dosya bir bilgisayar verisini temsil eder. Web sitelerinde tarayıcılara web sitelerinin sayfalarını nasıl taramaları gerektiğini söylemek için kullanılan basit bir metin dosyasıdır. Daha teknik olarak, hangi sayfaların taranması veya taranmaması gerektiğini tanımlayan tarayıcılar için kurallar içerir.

Robots.txt dosyası yoksa, tarayıcılar web sitesini serbestçe taramaya devam eder. Ancak, geçerli bir robots.txt dosyası varsa, tarayıcılar direktifler için dosyanın içine bakar ve web sitesini buna göre taramaya devam eder.

Web sitenizin kök dizininde bulunur. Web sitenizin adresi: www.altinseo.com ise, robots.txt URL’niz www.altinseo.com/robots.txt olmalıdır.

Robots.txt Dosyası Neden Önemlidir?

Genel olarak web siteleri, taramayı kontrol etmek için robots.txt dosyasını mümkün olduğunca az kullanmaya çalışmalıdır. Web sitenizin mimarisini iyileştirmek ve tarayıcılar için temiz ve erişilebilir hale getirmek çok daha iyi bir çözümdür. Ancak, bu sorunlar kısa vadede çözülemezse, tarayıcıların sitenin düşük kaliteli bölümlerine erişmesini önlemek için gerektiğinde robots.txt dosyasının kullanılması önerilir.

• Google robotlarının yinelenen içeriğe göz atmasını önler.
• Arama sonuçlarında sitenin özel bir bölümünün görüntülenmesini reddetme işlemini sağlar.
• Sitenin dahili arama sonuçları sayfalarının Google arama sonuçlarında görüntülenmesini reddetme işlevini sağlar.
• Sitenizin belirli öğelerinin arama motorları tarafından dizine eklenmesini reddetmenizi sağlar.
• Sitenizin aşırı yüklenmesini önlemek için bir tarama süresi belirtebilirsiniz.
• Denetlenemeyen, kullanıcı tarafından oluşturulan içerikleri engelleyebilirsiniz.
• Hassas bilgiler içeren sayfaların indekslenmesini engelleyebilirsiniz.

Robots.txt SEO için Neden Önemlidir?

Robots.txt dosyasının en yaygın kullanımlarından biri, web sitesi içeriğini arama motorlarından gizlemektir. Buna botların belirli sayfaları taramasına izin vermemek de denir.

Birinci sebep, SERP sıralamanızı kısaca arama sonuçlarındaki sıralamanızı korumaktır. Yinelenen içerik, SERP’lerdeki tüm kopyaları listeleyemedikleri ve bu nedenle hangi sürüme öncelik vereceklerini seçmek zorunda oldukları için arama motoru tarayıcılarının kafasını karıştırma eğilimindedir. Bu, içeriğinizin üst sıralarda yer almak için kendisiyle rekabet etmesine yol açabilir ve bu da verimsizdir.

İçeriği arama motorlarından gizlemek isteyebileceğiniz başka bir neden de, web sitenizin gizli tutmak istediğiniz bölümlerini görüntülemelerini engellemektir. Bu sayfalarla karşılaşmak kullanıcılar için kafa karıştırıcı olabilir ve trafiği sitenizin geri kalanından uzaklaştırabilir.

Botların sitenizin belirli alanlarını keşfetmesine izin vermemenin yanı sıra, robots.txt dosyanızda bir “tarama gecikmesi” de belirtebilirsiniz. Bu, sitenizdeki birden çok sayfayı aynı anda yükleyen ve tarayan botların neden olduğu aşırı sunucu yüklemelerini önleyecektir. Ayrıca, kullanıcılarınız için çok sinir bozucu olabilen Bağlantı zaman aşımına uğradı hatalarını da azaltabilir.

Robots.txt Dosyası Nasıl Oluşturulur?

Web sitenizde bir robots.txt dosyası yoksa mümkün olan en kısa sürede bir tane oluşturmalısınız. Kendiniz yapmak istiyorsanız, aşağıda belirtilen adımları izleyin.

Yeni bir metin dosyası oluşturun ve “robots.txt” olarak kaydedin. Windows PC’lerde Notepad programı veya Mac’ler için TextEdit gibi bir metin düzenleyici kullanın ve ardından metinle ayrılmış bir dosyayı “Farklı Kaydet” kullanarak dosyanın uzantısının ”.txt” olarak doğru olduğundan emin olun.

Oluşturduğunuz txt dosyasına olmasını istediğiniz komut dizilerini yerleştirin ve tekrar kaydedin. Oluşturulan metin dosyası web sitenizin kök dizinine yüklenmelidir. Kök dizin, etki alanı adınızdan hemen sonra görünmesini sağlayan “htdocs” veya “www” adlı kök düzeyinde klasördür.

Alt alan adları kullanıyorsanız, her alt alan adı için bir robots.txt dosyası oluşturmanız gerekir. Büyük/küçük harfe duyarlıdır bu yüzden oluştururken küçük harf kullanmalısınız.

Web siteniz için oluşturacağınız Robots.txt dosyası herkese açıktır. Bu nedenle hangi sayfaların taranmasını istediğinizi veya istemediğinizi herkesin görebileceği anlamına gelir, yani özel kullanıcı bilgilerini gizlemek için kullanmamalısınız.

Tarayıcınızın adres çubuğuna www.alanadiniz.com/robots.txt adresini girerek robots.txt dosyasını kontrol edin

Robots.txt Dosyası Komutları Nelerdir?

Robots.txt söz dizimi yalnızca robots.txt dosyalarının dilidir. Artık robots.txt dosyanızı nasıl oluşturacağınızı ve biçimlendireceğinizi bildiğinize göre, arama motoru botlarına talimat vermeye başlayabilirsiniz. Bir robots dosyasında büyük olasılıkla karşılaşacağınız standart terimler aşağıda sıralanmıştır.

• User-agent: Tarama talimatları verdiğiniz belirli web tarayıcısını ifade eder. Robots veritabanı olarak arama yaparak detaylı bilgiye ulaşabilirsiniz.
• Disallow: Bir kullanıcı aracısına bir URL’yi taramamasını söylemek ve engellemek için kullanılan komuttur. Her URL için yalnızca bir disallow satırına izin verilir.
• Allow: Googlebot’a, üst sayfasına veya alt klasörüne izin verilmemiş olsa bile bir sayfaya veya alt klasöre erişebileceğini söyleyen komut.
• Sitemap: Bu URL ile ilişkili herhangi bir XML site haritasının konumunu belirtmek için kullanılır. Bu yönergeyi kullanmayı seçerseniz, dosyanızın en sonuna yerleştirilmelidir.
• *: Herhangi bir sayıda karakteri temsil eder.
• $: Satırın sonunu temsil eder. Belirli bir uzantıya sahip web sayfalarını engellemek için “$” dolar işaretini kullanabilirsiniz.
• Crawl Delay: Arama motoru tarayıcılarına, söz konusu sayfayı yüklemeden önce belirli bir süre beklemeleri talimatını verir.

Robots.txt dosyasındaki talimatlar her zaman iki bölümden oluşur. İlk bölümde, aşağıdaki talimatın hangi robotlar için geçerli olduğunu tanımlarsınız. İkinci bölüm ise kod talimatını içerir. Aşağıdaki robots.txt örneğinde görebilirsiniz.

• User-agent: *
• Allow: /
• #Sitemap
• Sitemap:http://www.alanadiniz.com/sitemap.xml

Bazen, arama motorlarının, ödeme alanı, resim dosyaları, bir forum bölümü veya bir web sitesinin yetişkinlere yönelik bir bölümü gibi web sitenizin bir bölümünü arama sonuçlarında göstermesini istemeyebilirsiniz. İzin verilmeyen yolu içeren herhangi bir URL, arama motorları tarafından hariç tutulacaktır:

• User-agent: *
• Allow: /
• #Subdizinleri disallow etme
• Disallow: /odeme/
• Disallow: /website-resimleri/
• Disallow: /forum/konu-disi/
• Disallow: /uye-bolumu/

Spesifik dosyaları robots.txt’de disallow etme:

• User-agent: *
• Disallow: /cgi-bin/
• Disallow: /tmp/
• Disallow: /junk/

Robots.txt dosyanız, web sayfanızın kök dizinine bir UTF-8 veya ASCII metin dosyası olarak kaydedilmelidir. Bu isime sahip tek bir dosya olmalıdır. Açıkça okunabilir bir formatta yapılandırılmış bir veya daha fazla kural seti içerir. Kurallar, büyük ve küçük harflerin ayırt edildiği şekilde yukarıdan aşağıya doğru işlenir.

Robots.txt Hataları ve Çözümleri

1. Tüm sitenizi yanlışlıkla engellemek

Tüm sitenizi yanlışlıkla engelleme hatası düşündüğünüzden daha sık olur. Web geliştiriciler, siteyi kodlarken sitenin yeni tasarlanmış bir bölümünü gizlemek için robots.txt dosyasını kullanabilir, ancak siteyi yayına aldıktan sonra sitenin engellemesini kaldırmayı unutabilirler. Google’da listelenen mevcut bir siteyse, bu hata arama motoru sıralamalarının aniden düşmesine neden olabilir.

2. Halihazırda indekslenmiş sayfaları hariç tutmak

Google tarafından indekslenen sayfaların robots.txt içerisinde bloke edilmesi, bu sayfaların Google’ın indeksinde takılıp kalmasına neden olur.

Zaten arama motorunun dizininde bulunan sayfaları hariç tutarsanız, orada kalırlar ve silinmezler. Bunları dizinden gerçekten kaldırmak için, sayfaların kendilerine bir meta etiketi “noindex” ayarlamalı ve Google’ın bunu tarayıp işlemesine izin vermelisiniz. Buna ek olarak Google Search Console’dan da sitenin ilgili sayfasının arama sonuçlarından kaldırılmasını talep edebilirsiniz. Sayfalar dizinden çıkarıldıktan sonra, Google’ın gelecekte bunları istemesini önlemek için robots.txt’de engelleyebilirsiniz.