Robots.txt dosyası, bir domain etki alanının hangi bölümlerinin bir Googlebot tarafından taranabileceğini ve hangi bölümlerinin taranamayacağını tanımlayan bir metin dosyasıdır. Ayrıca robots.txt dosyası, XML site haritasına bir bağlantı içerebilir.
Robots.txt adlı dosya bir bilgisayar verisini temsil eder. Web sitelerinde tarayıcılara web sitelerinin sayfalarını nasıl taramaları gerektiğini söylemek için kullanılan basit bir metin dosyasıdır. Daha teknik olarak, hangi sayfaların taranması veya taranmaması gerektiğini tanımlayan tarayıcılar için kurallar içerir.
Robots.txt dosyası yoksa, tarayıcılar web sitesini serbestçe taramaya devam eder. Ancak, geçerli bir robots.txt dosyası varsa, tarayıcılar direktifler için dosyanın içine bakar ve web sitesini buna göre taramaya devam eder.
Web sitenizin kök dizininde bulunur. Web sitenizin adresi: www.altinseo.com ise, robots.txt URL’niz www.altinseo.com/robots.txt olmalıdır.
Genel olarak web siteleri, taramayı kontrol etmek için robots.txt dosyasını mümkün olduğunca az kullanmaya çalışmalıdır. Web sitenizin mimarisini iyileştirmek ve tarayıcılar için temiz ve erişilebilir hale getirmek çok daha iyi bir çözümdür. Ancak, bu sorunlar kısa vadede çözülemezse, tarayıcıların sitenin düşük kaliteli bölümlerine erişmesini önlemek için gerektiğinde robots.txt dosyasının kullanılması önerilir.
Robots.txt dosyasının en yaygın kullanımlarından biri, web sitesi içeriğini arama motorlarından gizlemektir. Buna botların belirli sayfaları taramasına izin vermemek de denir.
Birinci sebep, SERP sıralamanızı kısaca arama sonuçlarındaki sıralamanızı korumaktır. Yinelenen içerik, SERP’lerdeki tüm kopyaları listeleyemedikleri ve bu nedenle hangi sürüme öncelik vereceklerini seçmek zorunda oldukları için arama motoru tarayıcılarının kafasını karıştırma eğilimindedir. Bu, içeriğinizin üst sıralarda yer almak için kendisiyle rekabet etmesine yol açabilir ve bu da verimsizdir.
İçeriği arama motorlarından gizlemek isteyebileceğiniz başka bir neden de, web sitenizin gizli tutmak istediğiniz bölümlerini görüntülemelerini engellemektir. Bu sayfalarla karşılaşmak kullanıcılar için kafa karıştırıcı olabilir ve trafiği sitenizin geri kalanından uzaklaştırabilir.
Botların sitenizin belirli alanlarını keşfetmesine izin vermemenin yanı sıra, robots.txt dosyanızda bir “tarama gecikmesi” de belirtebilirsiniz. Bu, sitenizdeki birden çok sayfayı aynı anda yükleyen ve tarayan botların neden olduğu aşırı sunucu yüklemelerini önleyecektir. Ayrıca, kullanıcılarınız için çok sinir bozucu olabilen Bağlantı zaman aşımına uğradı hatalarını da azaltabilir.
Web sitenizde bir robots.txt dosyası yoksa mümkün olan en kısa sürede bir tane oluşturmalısınız. Kendiniz yapmak istiyorsanız, aşağıda belirtilen adımları izleyin.
Yeni bir metin dosyası oluşturun ve “robots.txt” olarak kaydedin. Windows PC’lerde Notepad programı veya Mac’ler için TextEdit gibi bir metin düzenleyici kullanın ve ardından metinle ayrılmış bir dosyayı “Farklı Kaydet” kullanarak dosyanın uzantısının ”.txt” olarak doğru olduğundan emin olun.
Oluşturduğunuz txt dosyasına olmasını istediğiniz komut dizilerini yerleştirin ve tekrar kaydedin. Oluşturulan metin dosyası web sitenizin kök dizinine yüklenmelidir. Kök dizin, etki alanı adınızdan hemen sonra görünmesini sağlayan “htdocs” veya “www” adlı kök düzeyinde klasördür.
Alt alan adları kullanıyorsanız, her alt alan adı için bir robots.txt dosyası oluşturmanız gerekir. Büyük/küçük harfe duyarlıdır bu yüzden oluştururken küçük harf kullanmalısınız.
Web siteniz için oluşturacağınız Robots.txt dosyası herkese açıktır. Bu nedenle hangi sayfaların taranmasını istediğinizi veya istemediğinizi herkesin görebileceği anlamına gelir, yani özel kullanıcı bilgilerini gizlemek için kullanmamalısınız.
Tarayıcınızın adres çubuğuna www.alanadiniz.com/robots.txt adresini girerek robots.txt dosyasını kontrol edin
Robots.txt söz dizimi yalnızca robots.txt dosyalarının dilidir. Artık robots.txt dosyanızı nasıl oluşturacağınızı ve biçimlendireceğinizi bildiğinize göre, arama motoru botlarına talimat vermeye başlayabilirsiniz. Bir robots dosyasında büyük olasılıkla karşılaşacağınız standart terimler aşağıda sıralanmıştır.
Robots.txt dosyasındaki talimatlar her zaman iki bölümden oluşur. İlk bölümde, aşağıdaki talimatın hangi robotlar için geçerli olduğunu tanımlarsınız. İkinci bölüm ise kod talimatını içerir. Aşağıdaki robots.txt örneğinde görebilirsiniz.
Bazen, arama motorlarının, ödeme alanı, resim dosyaları, bir forum bölümü veya bir web sitesinin yetişkinlere yönelik bir bölümü gibi web sitenizin bir bölümünü arama sonuçlarında göstermesini istemeyebilirsiniz. İzin verilmeyen yolu içeren herhangi bir URL, arama motorları tarafından hariç tutulacaktır:
Spesifik dosyaları robots.txt’de disallow etme:
Robots.txt dosyanız, web sayfanızın kök dizinine bir UTF-8 veya ASCII metin dosyası olarak kaydedilmelidir. Bu isime sahip tek bir dosya olmalıdır. Açıkça okunabilir bir formatta yapılandırılmış bir veya daha fazla kural seti içerir. Kurallar, büyük ve küçük harflerin ayırt edildiği şekilde yukarıdan aşağıya doğru işlenir.
Tüm sitenizi yanlışlıkla engelleme hatası düşündüğünüzden daha sık olur. Web geliştiriciler, siteyi kodlarken sitenin yeni tasarlanmış bir bölümünü gizlemek için robots.txt dosyasını kullanabilir, ancak siteyi yayına aldıktan sonra sitenin engellemesini kaldırmayı unutabilirler. Google’da listelenen mevcut bir siteyse, bu hata arama motoru sıralamalarının aniden düşmesine neden olabilir.
Google tarafından indekslenen sayfaların robots.txt içerisinde bloke edilmesi, bu sayfaların Google’ın indeksinde takılıp kalmasına neden olur.
Zaten arama motorunun dizininde bulunan sayfaları hariç tutarsanız, orada kalırlar ve silinmezler. Bunları dizinden gerçekten kaldırmak için, sayfaların kendilerine bir meta etiketi “noindex” ayarlamalı ve Google’ın bunu tarayıp işlemesine izin vermelisiniz. Buna ek olarak Google Search Console’dan da sitenin ilgili sayfasının arama sonuçlarından kaldırılmasını talep edebilirsiniz. Sayfalar dizinden çıkarıldıktan sonra, Google’ın gelecekte bunları istemesini önlemek için robots.txt’de engelleyebilirsiniz.
Robots.txt dosyası, web arama motoru tarayıcılarına web sitenizdeki hangi sayfaları tarayabileceklerini ve tarayamayacaklarını belirten bir koddur.
Bir robots.txt dosyası, bir sitenin kök dizininde yer alan ve arama motoru tarayıcılarına yönelik hangi URL’lerin taranması veya taranmaması gerektiği bilgilerini içeren bir metin belgesidir.