X

SEO için WordPress Robots.txt’inizi En İyi Şekilde Kullanın

WordPress robots.txt dosyanızı optimize etmek istiyor musunuz? Robots.txt dosyasının neden SEO’nuz için önemli olduğunu bilmiyor musunuz? Bu makalede, WordPress robots.txt dosyanızı SEO için nasıl optimize edebileceğinizi ve robots.txt dosyasının önemini anlamanıza yardımcı olacağını göstereceğiz.

Yakın bir zamanda, bir takipçimiz bize WordPress için robots.txt dosyası gerekip gerekmediğini ve öneminin ne olduğunu sordu. Bizde Burhan arkadaşımız için bu soruyu cevapladık. Sitenizin robots.txt dosyası, sitenizin genel SEO performansında önemli bir rol oynamaktadır. Temel olarak arama motorlarıyla iletişim kurmanıza ve sitenizin hangi bölümlerinin dizine eklemelerini gerektiğini bildirmelerine izin verir.

Gerçekten bir Robots.txt Dosyasına İhtiyacım Var mı?

Site dizini altında robots.txt dosyasının olmaması, arama motorlarının web sitenizi taramasına ve dizine eklemesine engel olmaz. Bununla birlikte, oluşturmanız şiddetle tavsiye edilir. Sitenizin XML site haritasını arama motorlarına göndermek istiyorsanız, arama motorlarının Google Web Yöneticisi Araçları’nda belirtmediğiniz sürece botlar XML site haritanızı robots.txt üzerinden arayacaktır.

Sitenizde bir robots.txt dosyası yoksa derhal bir tane oluşturmanızı şiddetle öneriyoruz.

Robots.txt dosyası nerede? Robots.txt dosyası nasıl oluşturulur?

Robots.txt dosyası genellikle sitenizin kök klasöründe bulunur. Sitenize bir FTP programı kullanarak bağlanmanız veya görüntülemek için barındırma panelinizden cPanel veya Plesk gibi dosya yöneticisi kullanarak düzenlemeniz gerekecektir.

Bu, normal bir metin dosyasına benzer ve Not Defteri gibi düz metin düzenleyicisi ile de açabilirsiniz.

Sitenizin kök dizininde bir robots.txt dosyası yoksa, her zaman bir tane oluşturabilirsiniz. Tek yapmanız gereken, bilgisayarınızda yeni bir metin dosyası oluşturup robots.txt olarak kaydedin. Sonra, sitenizin kök klasörüne yükleyin.

Robots.txt dosyası nasıl kullanılır?

Robots.txt dosyası biçimi aslında oldukça basittir. İlk satır genellikle kullanıcı aracısını belirtir. Kullanıcı aracı aslında iletişim kurmaya çalıştığınız arama botunun adıdır. Örneğin, Googlebot veya Bingbot. Tüm botlara talimat vermek için yıldız * kullanabilirsiniz.

Bir sonraki satır arama motorları için İzin Ver veya İzin Verme yönergeleri ile birlikte gelir; bu nedenle, hangi bölümlerin dizine eklenmesini istediğinizi ve hangilerinin dizine eklenmesini istemediğinizi dikkatli seçin.

Örnek bir robots.txt dosyasına bakalım:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

WordPress için bu örnek robots.txt dosyasında, tüm botlara resim yükleme dizinini  arama dizinlerine eklemelerini söyledik.

Sonraki iki satırda WordPress eklentileri dizinini ve readme.html dosyasını dizinlerini arama dizinlerine eklememesini söyledik.

SEO için Robots.txt dosyasını optimize etme

Web yöneticileri için yönergelerde Google, webmasterlara düşük kaliteli içeriği gizlemek için robots.txt dosyası kullanmamalarını önerir. Google’ın kategorinizi, tarihini ve diğer arşiv sayfalarını dizine eklemesini durdurmak için robots.txt dosyası kullanmayı düşünüyorsanız akıllıca bir seçim olmayabilir.

Unutmayın robots.txt’in amacı botlara sitenizde taradıkları içerikle ilgili ne yapılacağını öğretmektir. Bu, botların web sitenizi taramasını durdurmaz.

Diğer WordPress eklentileri, arşiv sayfalarınızda nofollow ve noindex gibi meta etiketler eklemenize izin verir. WordPress SEO eklentisi de bunu yapmanıza izin verir. Arşiv sayfalarınızın deindexed olmasını istediğinizi söylemiyoruz, ancak bunu yapmak isterseniz, bunu yapmanın doğru yolu budur.

WordPress giriş sayfası, yönetici dizini veya kayıt sayfasını robots.txt dosyasına eklemenize gerek yoktur, çünkü giriş ve kayıt sayfalarında noindex etiketi meta etiketi olarak WordPress’e eklenmiştir.

Robots.txt dosyanızdaki readme.html dosyasına izin vermemenizi öneririz. Bu Benioku dosyası, WordPress’in hangi sürümünü kullandığınızı anlamaya çalışan birisi tarafından kullanılabilir.

Öte yandan, birisi belirli bir sürümü kullanarak WordPress sitelerini bulmak için kötü amaçlı bir sorgu yürütüyorsa, bu izin vermeme etiketi sizi bu toplu saldırılardan koruyabilir. Site güvenliğiniz için dikkat etmenizi öneririz.

WordPress eklenti dizinini de devre dışı bırakabilirsiniz. Birisi, toplu bir saldırı için yararlanılacak belirli bir açık eklenti aradıysa, sitenizin güvenliğini güçlendirecektir.

XML Site Haritanızın Robots.txt Dosyasına Eklenmesi

Yoast’ın WordPress SEO eklentisini veya XML site haritanızı oluşturmak için başka bir eklenti kullanıyorsanız, eklentiniz otomatik olarak sitemap’inizle ilgili satırları robots.txt dosyasına eklemeye çalışacaktır.

Ancak başarısız olursa, eklentiniz XML Site Haritalarınıza olan bağlantıyı gösterecek ve bu URL’yi robots.txt dosyanıza manuel olarak ekleyebilirsiniz:

Sitemap: http://www.siteadresi.com/post-sitemap.xml
Sitemap: http://www.siteadresi.com/page-sitemap.xml

İdeal bir Robots.txt Dosyası nasıl olmalıdır?

Dürüst olmak gerekirse, birçok popüler blog, çok basit robots.txt dosyalarını kullanmaktadır. İçeriği, belirli sitenin ihtiyaçlarına göre değişir:

User-agent: *
Disallow:

Sitemap: http://www.siteadresi.com/post-sitemap.xml
Sitemap: http://www.siteadresi.com/page-sitemap.xml

Bu robots.txt dosyası, tüm botlara tüm içeriği dizine eklemesini söyler ve sitenin XML site haritalarına bağlantıları sağlar.

İşte bir robots.txt dosyasının başka bir örneği: Bu sefer WpGurme üzerinde kullandığımız:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html


Sitemap: https://wpgurme.com/post-sitemap.xml
Sitemap: https://wpgurme.com/page-sitemap.xml
Sitemap: https://wpgurme.com/category-sitemap.xml

Bu kadar. Bu makalenin, SEO için WordPress robots.txt dosyanızı nasıl optimize edeceğinizi öğrenmenize yardımcı olmasını umuyoruz. Aklınıza takılan tüm soruları yorum olarak bize yazmaktan çekinmeyin.

4.7
04

Yazının son düzenleme zamanı 19 Kasım 2017 19:29

Yorumları Göster (39)

    • Bizce mantıklı bunu bir örnekle açıklamak isteriz. Ayrıca sorunuz çok güzel bu tarz soruların gelmesi bizi açıkçası sevindiriyor. Sitemizin çalışması için ihtiyaç duyulan JavaScript dosyaları bazen gereksiz indeks işlemlerine maruz kalabiliyor. Bu bağlamda gereksiz bot trafiğini sitemizden uzak tutmak sistem kaynaklarının gereksiz kullanımının önüne geçmemizde fayda sağlayabilir.

  • Merhaba, benim site haritam normalde bu şekilde;

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html

    Sitemap: "https://siteadı.com/sitemap_index.xml"

    şu şekilde de yapsam olurmu (post, category, page) eklesem ;

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html

    Sitemap: "https://siteadı.com/sitemap_index.xml"
    Sitemap: "https://siteadı.com/post-sitemap.xml"
    Sitemap: "https://siteadı.com/category-sitemap.xml"
    Sitemap: "https://siteadı.com/page-sitemap.xml"

    • Post, Category ve page olarak ayrı ekleyebilirsiniz. Mantık olarak botlar sitemap_index.xml içerisini gezmekte ancak siz var olan tüm içeriğinizi ayrı olarak gezmesini isteyebilirsiniz. SEO ve indeks hızı açısından bir fark oluşmadığını biliyoruz.

  • Merhaba. Zannediyorum wpmavi yine sizin siteniz . İnanın wpmavi siteniz sayesinde kendi blog sitemi kurdum. Çok faydalı oldu benim için ve bunun için ayrıca size çok teşekkür etmek istiyorum ve inanın size çok dua etmiştim. (Burak Onan bey) . Ama benim bir sıkıntım var bunun için de bana yardımcı olursanız eğer çok minnettar kalırım.

    Adsense hesabıma girdiğim zaman "Kazançlarınız risk altında: Bir veya daha fazla sitenizde ads.txt dosyası bulunmuyor. Gelirinizin olumsuz etkilenmesini önlemek için bu sorunu hemen düzeltin" böyle bir yazıyla karşılaştım. Hemen düzeltmek adına arayışa girdim ve wordpress eklentisi indirip izleme kodumu yerleştirdim (kök dizinime yerleştirdiğim zaman sonuç alamadım ama bu yöntemle instastroll.com/ads.txt yazdığım zaman izleme kodlarımı oradan gördüm ) ama adsense tekrar girdiğim zaman aynı yazıyla karşılaşmaya devam ediyorum. Yine bunun çözümü için araştırmaya girdim ve robots.txt dosyasında birşeylere izin verilmesi gerektiğini ve instastroll.com/robots.txt yazdığım zaman karşılaşmam gereken bir takım yazılar gördüm . cpanel ime girdiğim zamanda böyle bir dosyamın bulunmadığını gördüm. Ve yine tekrardan bu robots.txt dosyası hakkında bilgi almak üzere araştırma içine girdim ve buradayım... İnanın bu dosya hakkında ne yapabilirim nerden başlayabilirim ne eklemem gerekiyor robotların ne sevdiğini ne sevmediğini sitemde de ne konuda araştırmalar yapmaları gerektiğini hiç bilmiyorum. Yani inanın kısacası ben bu dosya nasıl oluşturulur hiç bir bilgim yok ve biraz beni ürkütüyor . Bana yardımcı olursanız inanın çok mutlu olurum .
    Saygılarımla...

    • Merhaba öncelikle wpmavi sitesi bize ait değil (: wpmavi güzel konuların yer aldığı kaliteli WordPress sitelerinden bir tanesi bende çevreme önermekten çekinmiyorum. Sorunuza gelecek olursak detaylı olarak vereceğim adımları izlemeniz sorununuzu çözmede size yardımcı olacaktır.

      Google Adsense Ads.txt oluşturma

      1. Not defteri veya benzeri bir yazı editörü ile ads.txt uzantılı metin dosyası oluşturun ve açın.
      2. Google Adsense reklam paneliniz üzerinden Ayarlar → Hesap → Hesap bilgileri kısmına gelin.
      3. Metin dosyanızın içerisine google.com, pub-xxxxxxxxxxxxxxx, DIRECT, f08c47fec0942fa0 kodunu eklemeden önce pub-xxxxxxxxxxxxxxx kısmına Adsense yayıncı kimliği kodunu değiştirerek kayıt edin.
      4. Kayıt ettiğiniz ads.txt dosyasını FTP yada cPanel üzerinden sitenizin kök dizinine yükleyin.

      Tüm bu adımlarından ardından Google botları sitenizin altına yer alan ads.txt dosyasını okuyarak işlem sırasına alacaktır.

      • Tekrar merhaba. Ben bunları yaptım ancak kök dizin dosyama yüklediğim de kontrolünü sağladığım zaman olmadı sayfaya ulaşılamıyor dedi ("instastroll.com/ads.txt" yazdığım zaman) . bunun çözümü olarak wordpress ten bir eklenti indirdim ve bu şekilde çözdüm "ads.txt" dosyasını.(buna rağmen adesense hesabıma girdiğim zaman hala aynı yazı çıkıyor) Ama "robots.txt" dosyasında da aynı sıkıntıyı yaşıyorum . sizin sayenizde sizin sitenizin "robots.txt" dosyasını kullanarak bende bir dosya oluşturdum ama "instastroll.com/robots.txt" yazarak kontrolünü sağladığım zaman oluşturduğum dosyalar yerine wordpress in kendisinin otomatik olarak yerleştirdiği yazılar çıkıyor. Benim kendi oluşturduğum dosya dizini çıkmıyor. Buna istinaden yine araştırdım ve seo dan değiştirilebilir diyorlar root dosyasına yüklenebilir diyorlar ama ben seo ya girdiğim zaman dosya oluştur diye bir yazı görmüyorum ve seo eklentim gösterilen resimlerde olduğu gibi değil çok farklı . Bu "robots.txt" dosyasını nasıl yükleyebileceğim hakkında yardımcı olabilir misiniz?

        • Sitenizi kontrol ettiğimizde "https://www.instastroll.com/ads.txt" adresi üzerinden ilgili dosyaya ulaşa bilmekteyiz. Yoast SEO üzerinden dosya düzenleme kısmına erişmek için sırasıyla WordPress sol yönetim çubuğu üzerinden SEO → Araçlar sekmesine gelmeniz yeterli olacaktır. Bu ekran üzerinde Dosya düzenleyicisi aracını kullanarak belirli dosyaların içeriklerini değiştirebilirsiniz.

    • Sitenizde kullandığınız güvenlik eklentisi yada hosting firmanızın oluşturduğu bir kurala takılıyor olabilir.

  • Google tam acıklama yapmamış o konu hakkında .extra bilgiler mevcut degıl .çok araştırdım . Alttaki metin sizce robot txt ?
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /readme.html
    Allow: /wp-admin/admin-ajax.php
    .........................sitemap_index.xml

    sizce bu ayarı herşeyi ındexleyıp resim harıc bırakmam ıcın yeterlımıdir

    • Hazırladığım kodları kendine göre düzenleyerek ekleyebilirsin;
      User-Agent: *
      Disallow: /wp-content/plugins/
      Disallow: /wp-content/uploads/
      Disallow: /wp-admin/
      Disallow: /readme.html

      Sitemap: siteadresi/post-sitemap.xml
      Sitemap: siteadresi/page-sitemap.xml

      Site adresi kısımlarını "http://siteadresi.com" veya "https://siteadresi.com/" şeklinde düzenlemelisin.

  • merhaba hocm robot txt yazınız çok güzel olmuş . Googlede 87 hariç bırakıldı ve gönderilen no ındex işaretli uyarısı alıyoruz.no ındex dedıgı yerı bır turlu bulamadık .ayrıca 4 sunucu 5xx hatası var ..google ındxlemeyı ne kadar surede tamamlıyor kı beklemede denılıyor... ve sadece
    resimleri hariç bırakmak ısyıroum . resımler haric robot txt dosyası nasıl olmalı yardımcı olurmusnz ?

    • No-index değeri kullandığınız seo eklentisi üzerinden olabilir. Detaylı inceleme için Google Webmaster Tools üzerinden kapsam sorunlarına bir göz atmalısınız. Kapsam içerisinde index ve no-index olarak tanımlamaları Google gözünden değerlendirebilirsiniz.

  • bu robotx sorun varmı soylermısınız

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /archives/
    Disallow: /author
    Disallow: *?replytocom

    User-agent: Mediapartners-Google
    Allow: /
    Allow: /wp-content/uploads/
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: Adsbot-Google
    Allow: /

    User-agent: Googlebot-Mobile
    Allow: /

    • Bir sorun görmüyorum ancak web sitesi adresinizde verdiğiniz site üzerinde robot.txt dosyasınız erişim dışı gibi gözüküyor.

  • Yazınızı okudum çok teşekkürler ve yazdıklarınızı uygulamadım.Fakat benim bir sorum olacak yoast seo aracından tüm arşivleri ve katagorileri kapattım ama seo açısından bir sıkıntı olur mu ? Yani anahtar kelime bakımından google da ilk sayfalarda çıkmama engel olurmu

    • Arşiv ve kategorileri kapatmanız sıralamada size sorun çıkarmaz. Ancak tavsiyem kategorilerin indeks alınabilir konumda bırakılmasıdır.

  • Merhaba,
    Yazı için teşekkürler. Benim bir kaç sorum olacaktı.
    1. Ben wordpress de virtual robot.txt diye bir plugin ekledim. Oraya anlattığınız gibi kaldıracaklarımı ve izin verilecekleri ekledim. Bir de web master tools üzerinden de benzer şekilde eklemeler yapmıştım. Plugin ile web master tools üzerinden aynı işlemleri yapmış olmam sıkıntı yaratır mı?
    2. İlk aldığımda domain ismim faklıydı ve ben o domaine içerikler girmiştim. Sonra Domain adını değiştirdim. Ve var olan içerikleri sildim ve yeni içerikler girdim. Google a. sitemin url sini yazdığımda yeni domain adım ama slash işaretinden sonra eski içerik sayfa adı var. Tıklayınca açılmıyor. Ör: "www.sitem.com/istemedigimicerik/"
    Haliyle ben bunları google dan kaldırmak istedim.
    Disallow: /istemedigimicerik/ olarak girdim bunları hem plugine hem de web masters üzerinden. Ama bunu yapalı 1 haftadan çok oldu, hala google da bu istemediğim içerikleri görüyorum. Sebebi nedir sizce?

    • Son 2 aylık süre içerisinde Google üzerinde 301 yönlendirmeleri sorunlara sebep oluyor. Siz yapılması gereken tüm işlemleri tahminimce yapmış bulunuyorsunuz. Tavsiyem Redirections eklentisi kurarak 404 hatası aldığınız sayfaları anasayfa üzerine yada ilgili sayfaya yönlendirmenizdir.

  • Hocam merhabalar, yazınıza bugün itibariyle ulaştım ve robot.txt dosyamı verdiğiniz dosya ile değiştirdim. Nedeni ise mobil uyumluluk testinde bazı sayfaların mobil uyumsuz çıkması ve aşağıdaki hataları vermesi;

    -Tıklanabilir öğeler birbirine çok yakın
    -İçerik, ekrandan geniş

    Umarım düzelir...

    • Saymış olduğunuz düzenlemeler temanız ile alakalı. Robots.txt ile bu hataları düzenlemeniz ne yazık ki mümkün değil.

Sitemizi geliştirmek üzere çerezler kullanıyoruz.