Robots.txt ve Sitemap.xml Oluşturma

Sitemap.xml dosyası indekslenmek istenen sitenin haritası niteliğindedir. Google gibi arama motorlarının işlerini kolaylaştırmak ve bu sayede sitenin daha performanslı aranabilmesini sağlamak adına kullanılması iyi olacaktır.

Peki bu dosyayı nasıl oluşturacağızı araştırdığımda elle yada otomatik olarak oluşturabileceğimizi gördüm. Tabi ki otomatik olanı seçtim ve bu yöntem içinde programlar ve websiteleri olduğunu gördüm. Bu konuda da Google bizim için detaylı bir liste hazırlamış. Bu listeye aşağıdaki linkten ulaşabilirsiniz.

Kullanılabilecek program ve siteler

Şimdi ben en kolay yoldan listedeki websitelerinden birini seçtim ve xml dosyamı oluşturmaya başladım.

Ekran Alıntısı

Yandaki gibi 4 adımda dosyamı hazırlayacağımı söyleyen bir site.

Starting URL:   kısmına haritalandırmak istediğiniz sitenin adresi.

Change Frequency:  kısmında sitenin ne sıklıkla değişeceği seçilmelidir. Seçenekler ise şu

şekilde  sürekli/ saatlik/ günlük/ haftalık/ aylık/ yıllık/ asla

 

Bunları seçtikten sonra Start ile sayfayı çalıştırdığımızda bir süre sayfamızın taranması sürüyor ve sonunda bize xml dosyası olarak indirebileceğimiz çıktı veriliyor. Bu dosyayı indirip sitemizin ana dizinine atıyoruz ve www.xxx.xxx/sitemap.xml olarak dosyanın çalışıp çalışmadığını kontrol ediyoruz. Eğer sorun yoksa devam edebiliriz.

 

Ekran Alıntısı

Şimdi sıra bu xml dosyasını google a tanıtmakta.

https://www.google.com/webmasters/tools/home?      hl=tr adresine giriyoruz ve daha önceden

tanımlamasını yaptığımız ve sitemap dosyasını yükleyeceğimiz sitenin yönetimine giriyoruz.

      Tarama  menüsü altında Site Haritaları kısmına giriyoruz. Site haritası ekleme / Test etme

       kısmından çalışmadığını test ettiğimiz sitemap dosyamızın yolunu www.xxx.xxx/sitemap.xml

giriyoruz önce test edip sorun yoksa gönderi seçerek tanımlama işlemini bitiriyoruz.

 

 


Şimdi sırada sitemizin robots.txt dosyasını oluşturmak var. Peki bu dosya ne işe yarar diye incelerken konuyu anlatan güzel bir görsel buldum. Resimde özetlediği gibi arama motorları robotlarının nerelere bakıp nerelere bakmayacağını göstereceğimiz dosyadır.

robots_txt Peki bu robots.txt dosyasını nasıl oluştururuz. Bunun içinde sağolsun bir site yapmışlar

http://www.mcanerin.com/EN/search-engine/robots-txt.asp adresinden direk dosyayı oluşturabiliyoruz.

Burda yapılan işlemde kabaca şu şekilde.

User-agent: *
Disallow: /

User-agent ile arama motorlarının ajan yazılımlarını bildiriyoruz. * kullanarak tüm ajan yazılımlarını kapsamasını sağladık.

Disallow ile hangi dizinleri taramayacağını belirtiyoruz.

 

Ekran Alıntısı

Siteye girdiğimizde arama robotlarına izin verip vermeyeceğimiz hangi robotlara nasıl yetki vereceğimiz, hangi dizinlere ulaşmayacağını ve hangi site için oluşturacağımızı girerek

Create Robots.txt tuşu ile dosyanın oluşması sağlanabilir. Bu dosyayıda sitemizin ana dizine yerleştirmemiz gerekecek. Sayfa üzerinden erişebildiğimizi doğruladıktan sonra

https://www.google.com/webmasters/tools/home?      hl=tr adresine giriyoruz ve daha önceden

tanımlamasını yaptığımız ve robots.txt dosyasını yükleyeceğimiz sitenin yönetimine giriyoruz.

Tarama  menüsü altında robots.txt Test Aracı kısmına giriyoruz. Oluşturduğumuz dosyanın içeriğini kopyalayıp yapıştırıyor ve gönder diyoruz. 3 basamak halinde yapmamız gerekenleri bize gösteriyor. 3 basamağı tamamladıktan sonra yükleme işlemimiz sonlanmış oluyor.