SEO / UX

Robots.txt, Arama motorlarını web sitesinde yönlendiren komutları içerisinde bulunduran ftp dizininde olması gereken bir metin dosyasıdır. İndeksle ve indeksleme olarak iki kategoride yapılandırabilen robots.txt dosyası ile arama motorlarının indekslemesi ve indekslememesi gereken sayfalar belirtilebilir. Her bir komut, arama motoru için anlamlıdır ve arama motoru örümceklerini web sitesi içerisinde yönlendirebilen niteliklere sahiptir. Örneğin: User-agent: * ifadesi tüm arama motorlarını kapsar, Allow ve Disallow terimleri izin ver ve engelle anlamına gelir. Ayrıca robots.txt dosyasının en alt satırına Sitemap: eklemesi yapılarak arama motorlarının Sitemap dosyasını tanıma süreci hızlandırılabilir. Robots.txt üzerinden yapılan iyileştirmeler .htaccess dosyası kullanılarakta yapılabilmektedir, .htaccess dosyasından da bazı arama motorları engellenebilmektedir ve dizin engellemeleri yapılmaktadır. Bir php dosyası yardımıyla da robots.txt dosyası robots.php uzantılı olarak oluşturulabilmektedir.


Öne Çıkan Sonuç


Aradığınız sonucu bulamadınız mı? Sayfanın altında listelenen benzer sonuçlara bakabilirsiniz!