WordPress robots.txt dosyanızı optimize etmek istiyor musunuz? Robots.txt dosyasının neden SEO’nuz için önemli olduğunu bilmiyor musunuz? Bu makalede, WordPress robots.txt dosyanızı SEO için nasıl optimize edebileceğinizi ve robots.txt dosyasının önemini anlamanıza yardımcı olacağını göstereceğiz.

Yakın bir zamanda, bir takipçimiz bize WordPress için robots.txt dosyası gerekip gerekmediğini ve öneminin ne olduğunu sordu. Bizde Burhan arkadaşımız için bu soruyu cevapladık. Sitenizin robots.txt dosyası, sitenizin genel SEO performansında önemli bir rol oynamaktadır. Temel olarak arama motorlarıyla iletişim kurmanıza ve sitenizin hangi bölümlerinin dizine eklemelerini gerektiğini bildirmelerine izin verir.

Gerçekten bir Robots.txt Dosyasına İhtiyacım Var mı?

Site dizini altında robots.txt dosyasının olmaması, arama motorlarının web sitenizi taramasına ve dizine eklemesine engel olmaz. Bununla birlikte, oluşturmanız şiddetle tavsiye edilir. Sitenizin XML site haritasını arama motorlarına göndermek istiyorsanız, arama motorlarının Google Web Yöneticisi Araçları’nda belirtmediğiniz sürece botlar XML site haritanızı robots.txt üzerinden arayacaktır.

Sitenizde bir robots.txt dosyası yoksa derhal bir tane oluşturmanızı şiddetle öneriyoruz.

Robots.txt dosyası nerede? Robots.txt dosyası nasıl oluşturulur?

Robots.txt dosyası genellikle sitenizin kök klasöründe bulunur. Sitenize bir FTP programı kullanarak bağlanmanız veya görüntülemek için barındırma panelinizden cPanel veya Plesk gibi dosya yöneticisi kullanarak düzenlemeniz gerekecektir.

Bu, normal bir metin dosyasına benzer ve Not Defteri gibi düz metin düzenleyicisi ile de açabilirsiniz.

Sitenizin kök dizininde bir robots.txt dosyası yoksa, her zaman bir tane oluşturabilirsiniz. Tek yapmanız gereken, bilgisayarınızda yeni bir metin dosyası oluşturup robots.txt olarak kaydedin. Sonra, sitenizin kök klasörüne yükleyin.

Robots.txt dosyası nasıl kullanılır?

Robots.txt dosyası biçimi aslında oldukça basittir. İlk satır genellikle kullanıcı aracısını belirtir. Kullanıcı aracı aslında iletişim kurmaya çalıştığınız arama botunun adıdır. Örneğin, Googlebot veya Bingbot. Tüm botlara talimat vermek için yıldız * kullanabilirsiniz.

Bir sonraki satır arama motorları için İzin Ver veya İzin Verme yönergeleri ile birlikte gelir; bu nedenle, hangi bölümlerin dizine eklenmesini istediğinizi ve hangilerinin dizine eklenmesini istemediğinizi dikkatli seçin.

Örnek bir robots.txt dosyasına bakalım:

WordPress için bu örnek robots.txt dosyasında, tüm botlara resim yükleme dizinini  arama dizinlerine eklemelerini söyledik.

Sonraki iki satırda WordPress eklentileri dizinini ve readme.html dosyasını dizinlerini arama dizinlerine eklememesini söyledik.

SEO için Robots.txt dosyasını optimize etme

Web yöneticileri için yönergelerde Google, webmasterlara düşük kaliteli içeriği gizlemek için robots.txt dosyası kullanmamalarını önerir. Google’ın kategorinizi, tarihini ve diğer arşiv sayfalarını dizine eklemesini durdurmak için robots.txt dosyası kullanmayı düşünüyorsanız akıllıca bir seçim olmayabilir.

Unutmayın robots.txt’in amacı botlara sitenizde taradıkları içerikle ilgili ne yapılacağını öğretmektir. Bu, botların web sitenizi taramasını durdurmaz.

Diğer WordPress eklentileri, arşiv sayfalarınızda nofollow ve noindex gibi meta etiketler eklemenize izin verir. WordPress SEO eklentisi de bunu yapmanıza izin verir. Arşiv sayfalarınızın deindexed olmasını istediğinizi söylemiyoruz, ancak bunu yapmak isterseniz, bunu yapmanın doğru yolu budur.

yoast noindex ayarı

WordPress giriş sayfası, yönetici dizini veya kayıt sayfasını robots.txt dosyasına eklemenize gerek yoktur, çünkü giriş ve kayıt sayfalarında noindex etiketi meta etiketi olarak WordPress’e eklenmiştir.

Robots.txt dosyanızdaki readme.html dosyasına izin vermemenizi öneririz. Bu Benioku dosyası, WordPress’in hangi sürümünü kullandığınızı anlamaya çalışan birisi tarafından kullanılabilir.

Öte yandan, birisi belirli bir sürümü kullanarak WordPress sitelerini bulmak için kötü amaçlı bir sorgu yürütüyorsa, bu izin vermeme etiketi sizi bu toplu saldırılardan koruyabilir. Site güvenliğiniz için dikkat etmenizi öneririz.

WordPress eklenti dizinini de devre dışı bırakabilirsiniz. Birisi, toplu bir saldırı için yararlanılacak belirli bir açık eklenti aradıysa, sitenizin güvenliğini güçlendirecektir.

XML Site Haritanızın Robots.txt Dosyasına Eklenmesi

Yoast’ın WordPress SEO eklentisini veya XML site haritanızı oluşturmak için başka bir eklenti kullanıyorsanız, eklentiniz otomatik olarak sitemap’inizle ilgili satırları robots.txt dosyasına eklemeye çalışacaktır.

Ancak başarısız olursa, eklentiniz XML Site Haritalarınıza olan bağlantıyı gösterecek ve bu URL’yi robots.txt dosyanıza manuel olarak ekleyebilirsiniz:

İdeal bir Robots.txt Dosyası nasıl olmalıdır?

Dürüst olmak gerekirse, birçok popüler blog, çok basit robots.txt dosyalarını kullanmaktadır. İçeriği, belirli sitenin ihtiyaçlarına göre değişir:

Bu robots.txt dosyası, tüm botlara tüm içeriği dizine eklemesini söyler ve sitenin XML site haritalarına bağlantıları sağlar.

İşte bir robots.txt dosyasının başka bir örneği: Bu sefer WpGurme üzerinde kullandığımız:

Bu kadar. Bu makalenin, SEO için WordPress robots.txt dosyanızı nasıl optimize edeceğinizi öğrenmenize yardımcı olmasını umuyoruz. Aklınıza takılan tüm soruları yorum olarak bize yazmaktan çekinmeyin.

SEO için WordPress Robots.txt’inizi En İyi Şekilde Kullanın
5 (100%) 15 Oy verildi.