SEO için WordPress Robots.txt’inizi En İyi Şekilde Kullanın

39 1.114

WordPress robots.txt dosyanızı optimize etmek istiyor musunuz? Robots.txt dosyasının neden SEO’nuz için önemli olduğunu bilmiyor musunuz? Bu makalede, WordPress robots.txt dosyanızı SEO için nasıl optimize edebileceğinizi ve robots.txt dosyasının önemini anlamanıza yardımcı olacağını göstereceğiz.

Yakın bir zamanda, bir takipçimiz bize WordPress için robots.txt dosyası gerekip gerekmediğini ve öneminin ne olduğunu sordu. Bizde Burhan arkadaşımız için bu soruyu cevapladık. Sitenizin robots.txt dosyası, sitenizin genel SEO performansında önemli bir rol oynamaktadır. Temel olarak arama motorlarıyla iletişim kurmanıza ve sitenizin hangi bölümlerinin dizine eklemelerini gerektiğini bildirmelerine izin verir.

Gerçekten bir Robots.txt Dosyasına İhtiyacım Var mı?

Site dizini altında robots.txt dosyasının olmaması, arama motorlarının web sitenizi taramasına ve dizine eklemesine engel olmaz. Bununla birlikte, oluşturmanız şiddetle tavsiye edilir. Sitenizin XML site haritasını arama motorlarına göndermek istiyorsanız, arama motorlarının Google Web Yöneticisi Araçları’nda belirtmediğiniz sürece botlar XML site haritanızı robots.txt üzerinden arayacaktır.

Sitenizde bir robots.txt dosyası yoksa derhal bir tane oluşturmanızı şiddetle öneriyoruz.

Robots.txt dosyası nerede? Robots.txt dosyası nasıl oluşturulur?

Robots.txt dosyası genellikle sitenizin kök klasöründe bulunur. Sitenize bir FTP programı kullanarak bağlanmanız veya görüntülemek için barındırma panelinizden cPanel veya Plesk gibi dosya yöneticisi kullanarak düzenlemeniz gerekecektir.

Bu, normal bir metin dosyasına benzer ve Not Defteri gibi düz metin düzenleyicisi ile de açabilirsiniz.

Sitenizin kök dizininde bir robots.txt dosyası yoksa, her zaman bir tane oluşturabilirsiniz. Tek yapmanız gereken, bilgisayarınızda yeni bir metin dosyası oluşturup robots.txt olarak kaydedin. Sonra, sitenizin kök klasörüne yükleyin.

Robots.txt dosyası nasıl kullanılır?

Robots.txt dosyası biçimi aslında oldukça basittir. İlk satır genellikle kullanıcı aracısını belirtir. Kullanıcı aracı aslında iletişim kurmaya çalıştığınız arama botunun adıdır. Örneğin, Googlebot veya Bingbot. Tüm botlara talimat vermek için yıldız * kullanabilirsiniz.

Bir sonraki satır arama motorları için İzin Ver veya İzin Verme yönergeleri ile birlikte gelir; bu nedenle, hangi bölümlerin dizine eklenmesini istediğinizi ve hangilerinin dizine eklenmesini istemediğinizi dikkatli seçin.

Örnek bir robots.txt dosyasına bakalım:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

WordPress için bu örnek robots.txt dosyasında, tüm botlara resim yükleme dizinini  arama dizinlerine eklemelerini söyledik.

Sonraki iki satırda WordPress eklentileri dizinini ve readme.html dosyasını dizinlerini arama dizinlerine eklememesini söyledik.

SEO için Robots.txt dosyasını optimize etme

Web yöneticileri için yönergelerde Google, webmasterlara düşük kaliteli içeriği gizlemek için robots.txt dosyası kullanmamalarını önerir. Google’ın kategorinizi, tarihini ve diğer arşiv sayfalarını dizine eklemesini durdurmak için robots.txt dosyası kullanmayı düşünüyorsanız akıllıca bir seçim olmayabilir.

Unutmayın robots.txt’in amacı botlara sitenizde taradıkları içerikle ilgili ne yapılacağını öğretmektir. Bu, botların web sitenizi taramasını durdurmaz.

Diğer WordPress eklentileri, arşiv sayfalarınızda nofollow ve noindex gibi meta etiketler eklemenize izin verir. WordPress SEO eklentisi de bunu yapmanıza izin verir. Arşiv sayfalarınızın deindexed olmasını istediğinizi söylemiyoruz, ancak bunu yapmak isterseniz, bunu yapmanın doğru yolu budur.

yoast noindex ayarı

WordPress giriş sayfası, yönetici dizini veya kayıt sayfasını robots.txt dosyasına eklemenize gerek yoktur, çünkü giriş ve kayıt sayfalarında noindex etiketi meta etiketi olarak WordPress’e eklenmiştir.

Robots.txt dosyanızdaki readme.html dosyasına izin vermemenizi öneririz. Bu Benioku dosyası, WordPress’in hangi sürümünü kullandığınızı anlamaya çalışan birisi tarafından kullanılabilir.

Öte yandan, birisi belirli bir sürümü kullanarak WordPress sitelerini bulmak için kötü amaçlı bir sorgu yürütüyorsa, bu izin vermeme etiketi sizi bu toplu saldırılardan koruyabilir. Site güvenliğiniz için dikkat etmenizi öneririz.

WordPress eklenti dizinini de devre dışı bırakabilirsiniz. Birisi, toplu bir saldırı için yararlanılacak belirli bir açık eklenti aradıysa, sitenizin güvenliğini güçlendirecektir.

XML Site Haritanızın Robots.txt Dosyasına Eklenmesi

Yoast’ın WordPress SEO eklentisini veya XML site haritanızı oluşturmak için başka bir eklenti kullanıyorsanız, eklentiniz otomatik olarak sitemap’inizle ilgili satırları robots.txt dosyasına eklemeye çalışacaktır.

Ancak başarısız olursa, eklentiniz XML Site Haritalarınıza olan bağlantıyı gösterecek ve bu URL’yi robots.txt dosyanıza manuel olarak ekleyebilirsiniz:

Sitemap: http://www.siteadresi.com/post-sitemap.xml
Sitemap: http://www.siteadresi.com/page-sitemap.xml

İdeal bir Robots.txt Dosyası nasıl olmalıdır?

Dürüst olmak gerekirse, birçok popüler blog, çok basit robots.txt dosyalarını kullanmaktadır. İçeriği, belirli sitenin ihtiyaçlarına göre değişir:

User-agent: *
Disallow:

Sitemap: http://www.siteadresi.com/post-sitemap.xml
Sitemap: http://www.siteadresi.com/page-sitemap.xml

Bu robots.txt dosyası, tüm botlara tüm içeriği dizine eklemesini söyler ve sitenin XML site haritalarına bağlantıları sağlar.

İşte bir robots.txt dosyasının başka bir örneği: Bu sefer WpGurme üzerinde kullandığımız:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html


Sitemap: https://wpgurme.com/post-sitemap.xml
Sitemap: https://wpgurme.com/page-sitemap.xml
Sitemap: https://wpgurme.com/category-sitemap.xml

Bu kadar. Bu makalenin, SEO için WordPress robots.txt dosyanızı nasıl optimize edeceğinizi öğrenmenize yardımcı olmasını umuyoruz. Aklınıza takılan tüm soruları yorum olarak bize yazmaktan çekinmeyin.

39 Yorum
  1. Ezan Vakti

    Robot.txt dosyası için verdiğiniz kodları siteme ekledim. Verdiğiniz bilgiler için çok teşekkür ederim.

  2. Sarp

    Robots.txt için sitemap adresini (/sitemap.xml.gz) şeklinde de eklemenizi tavsiye ederim. Bu arada readme.html- i direk silsek olmaz mı?

    1. WpGurme

      Sarp, Site haritasını Gzip ile sitemap.xml.gz olarak oluşturmanın pek bir avantajı kalmadı. Eskiden site haritaları elle oluşturulduğu için kolaylık olması açısından 7-zip ile sıkıştırıyorduk. Şimdi eklentiler site haritamızı yazı, sayfa, görsel olarak böldüğü için arşivsel harita oluşturmaya gerek kalmıyor. Soruna gelirsek bazı güvenlik eklentileri WordPress’in readme dosyasının olup olmadığını kontrol ediyor. Bazı durumlarda bunu güvenlik sorunu olarak algılayıp farklı senaryolar üretebiliyor.

  3. Gültekin

    Hocam, bu kodu plesk kullanıcısı olarak wp-config’ e mi direkt ekleyeceğim? Bir de dürüst olmak gerekirse bu kodun olayını anlamadım. Bizi üst sıralara taşıma anlamında mı yararlı? Şunu bi Türkçe rica edeyim 🙂 eline sağlık.

    1. WpGurme

      Merhaba Gültekin, sanırım yazdıklarım seni farklı bir yola sürüklemiş. Öncelikle robots.txt dosyası arama motorlarından gelen robotlara site içeriğinde nereleri gezmesi gerektiğini veya nerelere girmemesi gerektiğini söyler. Örnek vermek gerekirse site haritası, sitede kullandığın resimler, yazdığın yazılar ve sabit sayfalarını hızlı bulması açısından önemlidir. WordPress’in ana dizini altında bulabileceğin robots.txt dosyası yazımızda verdiğimiz kodları ekleyerek sitene gelen arama motoru botlarına nasıl davranması gerektiği hakkında bilgiler verebilirsin. Verdiğin bu bilgiler sonucunda sitenin index hızı ve index sayın artacaktır. Buna bağlı olarak google, yandex ve bing arama motorlarında daha rahat yükselmene yardımcı olacaktır.

  4. Koray

    Hocam Merhabalar. Google Wep master Tools Üzerinden Robots Güncellemesi Yapıyorum İşlem alınamadı. diye bir bildirim Gözüküyor. Site Mobil Test Yaptıgımda Sayfaya Ulaşılamıyor demekte Sayfa Normal Açılmakta hata Gözükmemekte . Yoast seo kullanıyorum

    Robots Dosyam Şu şekilde.

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /?attachment_id
    Disallow: */feed/
    Disallow: /feed
    Disallow: *?replytocom

    User-Agent: Googlebot
    Allow: .js
    Allow: .css

    Sitemap: http://siteadiniz.com/sitemap.xml

    Daha Düne Kadar Bir sorun Yok İdi. Mobil Kodu var Kayıtlı.
    Ve AMP TEST sayfasında da aynı hatayı alıyorum

    Sayfaya ulaşılamıyor
    Bu durum, sayfanın mevcut olmamasından veya robots.txt tarafından engellenmesinden kaynaklanıyor olabilir
    demekte. AMP sayfası mevcut olarak açılıyor,
    validator.ampproject.org/ ten de Kodta Hata varmı Diye bakıldığında Hiç bir hata olmayıp Altta yeşil Yazı ile PASS gözükmekte Sorunumu Nasıl Çöze bilirim ?
    İyi çalışmalar diliyorum Saygılar…

    1. WpGurme

      User-Agent alanınızı “User-Agent: *” olarak değiştirip bir dener misiniz?

  5. İsmail

    Hocam sitemap kısmını sadece “www.siteismi.com/sitemap.xml” şeklinde yapsak olmaz mı?
    Yani post-page.xml category-xml diye ayırmazsak ne gibi bir sorun olur?
    İkinci sorum ise feed ve etiketleri engellemeli miyiz?

    1. WpGurme

      Site içeriğinizi doğru iletmek açısından parçalı sitemap kullanmanızı tavsiye ederim. Kullanım açısından sadece sitemap.xml servis etmeniz size sorun yaratmaz. Feed ve etiketlerinizi site haritanıza eklemenizi önermiyoruz. Bunun bir kaç nedeni var, ilk olarak içeriğinizi bildirirken index sıralamasını olumsuz yönde etkilemekte bot ve içerik çeken siteler feed üzerinden yeni içeriğinizi harmanlayarak kullanabilir.

  6. Fatih Demir

    Merhaba,

    Öncelikle faydalı ve güzel yazınız için teşekkür ederim.
    Soruma gelecek olur isek. Şöyle bir şey yapmaya çalışıyorum. Sitelerimin birinde mesela 200’e yakın yazı var. Yalnız yazı/post ve sayfaların/page ve ana sayfanın index almasını istiyorum. Yani ne resimler, ne etiket arşivi, ne tag, ne kategori arşivi gibi.

    Sitemin google index sayısını incelediğimde (site:siteadim.com gibi) 200 yazı olmasına rağmen gereksiz yere 2000 küsür index almış. Spama girmem an meselesi. O yüzden Google Console’dan tek tek url kaldır yapmak yerine, robots.txt dosyasını ona göre revize etmeye çalışıyorum.

    Mesela yukarıdaki bahsettiğim amaca yönelik, aşağıdaki kod yapısı uygun mudur ? Mantık hatası yaptığım yer var mı diye danışmak istedim.

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html
    Disallow: /refer/
    Disallow: /tag*/
    Disallow: /AnaKategori-adi*/

    Allow: /wp-admin/admin-ajax.php
    Sitemap: “http://www.site-adim.com/post-sitemap.xml”
    Sitemap: “http://www.site-adim.com/page-sitemap.xml”

    User-agent: Googlebot-Image
    Disallow: /

    Mesela “Disallow: /tag*/” yazıyor olmam, tüm tag’lerin indexlerini kaldırması için yeterli midir ? Tarama burayı ve indexleme gibi. (İndexlenmiş bu arada bu tag’lerin çoğu malesef.)

    Kategoriler için ise “Disallow: /AnaKategori-adi*/” yeterli midir ?

    Sitemin kategorilerini şu şekilde yapılandırmıştım çünkü. “AnaKategori-adi” en üst kategori adım. Bir nevi “Tüm kategoriler” in en tepesinde duruyor. Bu “AnaKategori-adi” kategorisinin altına diğer kategoriler açıldı. (AnaKategori-adi/Alt-kategori-adi-seviye-1/Alt-kategori-adi-seviye-2 gibi)
    O yüzden tüm kategori linklerinin başında site-ismi.com/AnaKategori-adi/ yer alıyor. Bu duruma göre “Disallow: /AnaKategori-adi*/” çözüm olmuş olur mu ?

    Yani google’a bir nevi şunu demek istiyorum. “Hacı bir hata yapıp tüm gerekli/gereksiz ne var ise sana indexlettim. Kusura bakma açgözlülüğüm için ve ben artık bu durumdan pişmanım, benim sadece yazılarımı ve sayfalarımı indexle, diğer ne var ne yok indexleme ve bırak peşimi. Eskiden indexlediklerini de zaman içersinde sil gözünü seveyim”

    En altdaki satır ise, Google images bot’larına da, “Sen de uzak dur hacı. Ben resim sitesi değilim ve resimler ile bulunmak istemiyorum” demek istiyorum.

    Yukarıdaki şablonum bu isteğimi karşılar mı ? Eksik bıraktığım veya fazlalık olarak yazdığım bir yer var mıdır ?

    Biraz uzun bir yorum oldu, kusura bakmayın.

    1. WpGurme

      Merhaba, ek olarak sadece her kategoriyi tek tek eklemenizde fayda var Disallow: /cat1/ Disallow: /cat2/ gibi bazen engelleseniz dahi arama motoru botları site içerisinde gezerken sayfaları indeks sırasına alabiliyor.

  7. Fatih Demir

    Cevap için teşekkürler.
    Fakat dediğiniz gibi ise, o zaman tag’ler için de aynı şeyi yapmam mı gerekir ?

    Bir de “Disallow: /tag*/” mi yapmak gerekir yoksa “Disallow: /tag/” mi.
    Yani * koyulmaya gerek var mıdır ? “Disallow: /tag/” yaptığımızda “/tag/” ve devamını tarama anlamına da geliyor mu ?

    Kategoriler için önerizi dikkate alıp, tek tek ekleyeceğim. Zaten 15-20 tane kategori mevcut. Tek bir kere elle girilebilir.

    1. WpGurme

      Ben açıkçası tag olayına karşıyım. Eskiden Google tag bağlantılarına önem veriyordu, kullanımını anahtar kelime bazında kullanılması kötü sonuçlar doğurdu. Bu yüzden şuan Google çarpanı olarak tag önemsenmeyen bir hal aldı. Sitenizin içeriğini hazırlarken arama motorlarını yerine kullanıcı deneyimine yönelmenizi tavsiye ederim. Eşleşen içerikler üreterek yazılarınız arasında bağlar kurmanızı tavsiye ederim. Son olarak “Disallow: /tag/” eklemeniz yeterli olacaktır.

      Site içi linkleme üzerine bir makale yazmanın vaktidir. 🙂 güzel bir konu için fikir verdiğin için teşekkür ederim.

      1. Fatih Demir

        Dediğiniz gibi ben de karşıyım bu Tag/etkiet olayına. Bir blogumda hunharca tag kullanmıştım. Bilinçsizlik/tecrübesizlik/cahillik vs. Şimdi ise yaptığım bu hatayı site yayında iken yavaş yavaş google index’lerinden geri çekmeye çalışıyorum.

        İndex’ler silindiğini gördükten sonra da, sayfadan tag’ları kaldıracağım. (Mysql’den silerim.) Şimdi silersem 404’ler ile uğraşmak zorunda kalırım. Her Tag’e de 301 yönlendirmesine girmek benim için çok angarya bir iş.

        Özet olarak düşüncem, Tag’lerin yanlış kullanım sonucunda, sitenizi spam’a sokacağıdır. O yüzden zaten size bunları, robots.txt dosyasını kullanarak, botların taramasını engellemek ve index’lerini nasıl kaldırabilirim diye detaylarını sordum

        Cevaplarınız için teşekkürler.

        Evet bu konuda güzel ve uzun bir yazı yayınlayabilirseniz çok iyi olur.

        1. WpGurme

          Yardımcı olabildiysek ne mutlu bize.

  8. Mehmet

    Merhabalar sizin sitenizde olduğu gibi bende aynı şekle Robots dosyasını oluşturdum bir kaç bişey daha vardı console da engellenen url kaynakları bi anda yükseldi baya bi sonra eski dosyaya döndüm ve sorun çözüldü. Benim sormak istediğim engellenen kaynaklar olması seo açısından veya google açısından bir sorun teşkil eder mi

    1. WpGurme

      Engellediğiniz sayfa ve dosyalara göre SEO yapınıza etki edebilir. Aramalarda bulunmasını istemediğiniz içerikleri engellemeniz yeterlidir.

  9. Ekrem

    Hocam merhabalar, yazınıza bugün itibariyle ulaştım ve robot.txt dosyamı verdiğiniz dosya ile değiştirdim. Nedeni ise mobil uyumluluk testinde bazı sayfaların mobil uyumsuz çıkması ve aşağıdaki hataları vermesi;

    -Tıklanabilir öğeler birbirine çok yakın
    -İçerik, ekrandan geniş

    Umarım düzelir…

    1. WpGurme

      Saymış olduğunuz düzenlemeler temanız ile alakalı. Robots.txt ile bu hataları düzenlemeniz ne yazık ki mümkün değil.

  10. Melih

    Merhaba,
    Yazı için teşekkürler. Benim bir kaç sorum olacaktı.
    1. Ben wordpress de virtual robot.txt diye bir plugin ekledim. Oraya anlattığınız gibi kaldıracaklarımı ve izin verilecekleri ekledim. Bir de web master tools üzerinden de benzer şekilde eklemeler yapmıştım. Plugin ile web master tools üzerinden aynı işlemleri yapmış olmam sıkıntı yaratır mı?
    2. İlk aldığımda domain ismim faklıydı ve ben o domaine içerikler girmiştim. Sonra Domain adını değiştirdim. Ve var olan içerikleri sildim ve yeni içerikler girdim. Google a. sitemin url sini yazdığımda yeni domain adım ama slash işaretinden sonra eski içerik sayfa adı var. Tıklayınca açılmıyor. Ör: “www.sitem.com/istemedigimicerik/”
    Haliyle ben bunları google dan kaldırmak istedim.
    Disallow: /istemedigimicerik/ olarak girdim bunları hem plugine hem de web masters üzerinden. Ama bunu yapalı 1 haftadan çok oldu, hala google da bu istemediğim içerikleri görüyorum. Sebebi nedir sizce?

    1. WpGurme

      Son 2 aylık süre içerisinde Google üzerinde 301 yönlendirmeleri sorunlara sebep oluyor. Siz yapılması gereken tüm işlemleri tahminimce yapmış bulunuyorsunuz. Tavsiyem Redirections eklentisi kurarak 404 hatası aldığınız sayfaları anasayfa üzerine yada ilgili sayfaya yönlendirmenizdir.

  11. mehmet

    Yazınızı okudum çok teşekkürler ve yazdıklarınızı uygulamadım.Fakat benim bir sorum olacak yoast seo aracından tüm arşivleri ve katagorileri kapattım ama seo açısından bir sıkıntı olur mu ? Yani anahtar kelime bakımından google da ilk sayfalarda çıkmama engel olurmu

    1. WpGurme

      Arşiv ve kategorileri kapatmanız sıralamada size sorun çıkarmaz. Ancak tavsiyem kategorilerin indeks alınabilir konumda bırakılmasıdır.

  12. Kilicaslan

    bu robotx sorun varmı soylermısınız

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /archives/
    Disallow: /author
    Disallow: *?replytocom

    User-agent: Mediapartners-Google
    Allow: /
    Allow: /wp-content/uploads/
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: Adsbot-Google
    Allow: /

    User-agent: Googlebot-Mobile
    Allow: /

    1. WpGurme

      Bir sorun görmüyorum ancak web sitesi adresinizde verdiğiniz site üzerinde robot.txt dosyasınız erişim dışı gibi gözüküyor.

  13. volkan

    merhaba hocm robot txt yazınız çok güzel olmuş . Googlede 87 hariç bırakıldı ve gönderilen no ındex işaretli uyarısı alıyoruz.no ındex dedıgı yerı bır turlu bulamadık .ayrıca 4 sunucu 5xx hatası var ..google ındxlemeyı ne kadar surede tamamlıyor kı beklemede denılıyor… ve sadece
    resimleri hariç bırakmak ısyıroum . resımler haric robot txt dosyası nasıl olmalı yardımcı olurmusnz ?

    1. WpGurme

      No-index değeri kullandığınız seo eklentisi üzerinden olabilir. Detaylı inceleme için Google Webmaster Tools üzerinden kapsam sorunlarına bir göz atmalısınız. Kapsam içerisinde index ve no-index olarak tanımlamaları Google gözünden değerlendirebilirsiniz.

  14. volkan

    Google tam acıklama yapmamış o konu hakkında .extra bilgiler mevcut degıl .çok araştırdım . Alttaki metin sizce robot txt ?
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /readme.html
    Allow: /wp-admin/admin-ajax.php
    …………………….sitemap_index.xml

    sizce bu ayarı herşeyi ındexleyıp resim harıc bırakmam ıcın yeterlımıdir

    1. WpGurme

      Hazırladığım kodları kendine göre düzenleyerek ekleyebilirsin;
      User-Agent: *
      Disallow: /wp-content/plugins/
      Disallow: /wp-content/uploads/
      Disallow: /wp-admin/
      Disallow: /readme.html

      Sitemap: siteadresi/post-sitemap.xml
      Sitemap: siteadresi/page-sitemap.xml

      Site adresi kısımlarını “http://siteadresi.com” veya “https://siteadresi.com/” şeklinde düzenlemelisin.

  15. volkan

    teşekkür ederim deneyecem. ama bu google rbot txte erişemiyor hatası var çözebilirsem ne mutlu

    1. WpGurme

      Sitenizde kullandığınız güvenlik eklentisi yada hosting firmanızın oluşturduğu bir kurala takılıyor olabilir.

  16. Ecem

    Merhaba. Zannediyorum wpmavi yine sizin siteniz . İnanın wpmavi siteniz sayesinde kendi blog sitemi kurdum. Çok faydalı oldu benim için ve bunun için ayrıca size çok teşekkür etmek istiyorum ve inanın size çok dua etmiştim. (Burak Onan bey) . Ama benim bir sıkıntım var bunun için de bana yardımcı olursanız eğer çok minnettar kalırım.

    Adsense hesabıma girdiğim zaman “Kazançlarınız risk altında: Bir veya daha fazla sitenizde ads.txt dosyası bulunmuyor. Gelirinizin olumsuz etkilenmesini önlemek için bu sorunu hemen düzeltin” böyle bir yazıyla karşılaştım. Hemen düzeltmek adına arayışa girdim ve wordpress eklentisi indirip izleme kodumu yerleştirdim (kök dizinime yerleştirdiğim zaman sonuç alamadım ama bu yöntemle instastroll.com/ads.txt yazdığım zaman izleme kodlarımı oradan gördüm ) ama adsense tekrar girdiğim zaman aynı yazıyla karşılaşmaya devam ediyorum. Yine bunun çözümü için araştırmaya girdim ve robots.txt dosyasında birşeylere izin verilmesi gerektiğini ve instastroll.com/robots.txt yazdığım zaman karşılaşmam gereken bir takım yazılar gördüm . cpanel ime girdiğim zamanda böyle bir dosyamın bulunmadığını gördüm. Ve yine tekrardan bu robots.txt dosyası hakkında bilgi almak üzere araştırma içine girdim ve buradayım… İnanın bu dosya hakkında ne yapabilirim nerden başlayabilirim ne eklemem gerekiyor robotların ne sevdiğini ne sevmediğini sitemde de ne konuda araştırmalar yapmaları gerektiğini hiç bilmiyorum. Yani inanın kısacası ben bu dosya nasıl oluşturulur hiç bir bilgim yok ve biraz beni ürkütüyor . Bana yardımcı olursanız inanın çok mutlu olurum .
    Saygılarımla…

    1. WpGurme

      Merhaba öncelikle wpmavi sitesi bize ait değil (: wpmavi güzel konuların yer aldığı kaliteli WordPress sitelerinden bir tanesi bende çevreme önermekten çekinmiyorum. Sorunuza gelecek olursak detaylı olarak vereceğim adımları izlemeniz sorununuzu çözmede size yardımcı olacaktır.

      Google Adsense Ads.txt oluşturma

      1. Not defteri veya benzeri bir yazı editörü ile ads.txt uzantılı metin dosyası oluşturun ve açın.
      2. Google Adsense reklam paneliniz üzerinden Ayarlar → Hesap → Hesap bilgileri kısmına gelin.
      3. Metin dosyanızın içerisine google.com, pub-xxxxxxxxxxxxxxx, DIRECT, f08c47fec0942fa0 kodunu eklemeden önce pub-xxxxxxxxxxxxxxx kısmına Adsense yayıncı kimliği kodunu değiştirerek kayıt edin.
      4. Kayıt ettiğiniz ads.txt dosyasını FTP yada cPanel üzerinden sitenizin kök dizinine yükleyin.

      Tüm bu adımlarından ardından Google botları sitenizin altına yer alan ads.txt dosyasını okuyarak işlem sırasına alacaktır.

      1. Ecem

        Tekrar merhaba. Ben bunları yaptım ancak kök dizin dosyama yüklediğim de kontrolünü sağladığım zaman olmadı sayfaya ulaşılamıyor dedi (“instastroll.com/ads.txt” yazdığım zaman) . bunun çözümü olarak wordpress ten bir eklenti indirdim ve bu şekilde çözdüm “ads.txt” dosyasını.(buna rağmen adesense hesabıma girdiğim zaman hala aynı yazı çıkıyor) Ama “robots.txt” dosyasında da aynı sıkıntıyı yaşıyorum . sizin sayenizde sizin sitenizin “robots.txt” dosyasını kullanarak bende bir dosya oluşturdum ama “instastroll.com/robots.txt” yazarak kontrolünü sağladığım zaman oluşturduğum dosyalar yerine wordpress in kendisinin otomatik olarak yerleştirdiği yazılar çıkıyor. Benim kendi oluşturduğum dosya dizini çıkmıyor. Buna istinaden yine araştırdım ve seo dan değiştirilebilir diyorlar root dosyasına yüklenebilir diyorlar ama ben seo ya girdiğim zaman dosya oluştur diye bir yazı görmüyorum ve seo eklentim gösterilen resimlerde olduğu gibi değil çok farklı . Bu “robots.txt” dosyasını nasıl yükleyebileceğim hakkında yardımcı olabilir misiniz?

        1. WpGurme

          Sitenizi kontrol ettiğimizde “https://www.instastroll.com/ads.txt” adresi üzerinden ilgili dosyaya ulaşa bilmekteyiz. Yoast SEO üzerinden dosya düzenleme kısmına erişmek için sırasıyla WordPress sol yönetim çubuğu üzerinden SEO → Araçlar sekmesine gelmeniz yeterli olacaktır. Bu ekran üzerinde Dosya düzenleyicisi aracını kullanarak belirli dosyaların içeriklerini değiştirebilirsiniz.

  17. halil

    Merhaba, benim site haritam normalde bu şekilde;

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html

    Sitemap: “https://siteadı.com/sitemap_index.xml”

    şu şekilde de yapsam olurmu (post, category, page) eklesem ;

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html

    Sitemap: “https://siteadı.com/sitemap_index.xml”
    Sitemap: “https://siteadı.com/post-sitemap.xml”
    Sitemap: “https://siteadı.com/category-sitemap.xml”
    Sitemap: “https://siteadı.com/page-sitemap.xml”

    1. WpGurme

      Post, Category ve page olarak ayrı ekleyebilirsiniz. Mantık olarak botlar sitemap_index.xml içerisini gezmekte ancak siz var olan tüm içeriğinizi ayrı olarak gezmesini isteyebilirsiniz. SEO ve indeks hızı açısından bir fark oluşmadığını biliyoruz.

  18. ufuk

    iyi günler robots.txt dosyamızda sayfalar dışındaki çoğu dosyayı (kod içeren) engellemek sizce mantıklı mı ?

    1. WpGurme

      Bizce mantıklı bunu bir örnekle açıklamak isteriz. Ayrıca sorunuz çok güzel bu tarz soruların gelmesi bizi açıkçası sevindiriyor. Sitemizin çalışması için ihtiyaç duyulan JavaScript dosyaları bazen gereksiz indeks işlemlerine maruz kalabiliyor. Bu bağlamda gereksiz bot trafiğini sitemizden uzak tutmak sistem kaynaklarının gereksiz kullanımının önüne geçmemizde fayda sağlayabilir.

Cevap Gönder

E-posta adresiniz yorumunuzda yayınlanmayacaktır.

 

Sitemizi en iyi şekilde kullanabilmeniz için çerezler kullanılmaktadır. Sitemize giriş yaparak çerez kullanımını kabul etmiş sayılmaktasınız. Tamam Detaylı bilgi için tıklayınız.