Robots.txt Dosyası Nedir ? Ne İşe Yarar ?
robots.txt dosyası sitenizin arama motorları tarafından kayıt alınıp alınmayacağını sağlayan dosyadır.robots.txt dosyası ile isterseniz arama motorlarında sitenizin görünmesini engelleyebilirsiniz. Google SEO yönergelerinde robots.txt’de vardır.
robots.txt Nerede Bulunur ?
robots.txt dosyası sitenizin kök dizinin (genelde www,public_html,httpdocs’dur.) de bulunur.Çünkü arama motorları sitenize geldiğinde ilk önce robots.txt dosyasını arar.robots.txt dosyasında yazanlara göre sitenizde nereleri kayıt altına alınıp alınmayacağını sorgular.robots.txt dosyası ile sitenizde bulunan klasörleri veya tamamen sitenizin arama motorlarına kayıt altına alınmasını engelleyebilirsiniz.Önemli bir uyarı:
www.site.com/klasor/robots.txt
Yukarıdaki gibi bir robots.txt dosyası arama motorları tarafından dikkate alınmayacaktır.Çünkü daha öncede bahsettiğimiz gibi arama motorları robots.txt dosyasını sitenizin kök dizininde arar.
robots.txt Nasıl Oluşturulur ?
User-agent: *
Disallow: /
Yukarıdaki kod sitenizin arama motorlarına kayıt altına alınmasını engeller.
User-agent: *
Disallow:
Yukarıdaki kod sitenizin arama motorlarına kayıt altına alınmasını sağlar.Eğer robots.txt dosyanız yoksa siteniz arama motorlarına kaydedilir.
User-agent: *
Disallow: /test/
Yukarıdaki kod ile eğer ftp adresinizde test diye bir klasör varsa, o klasör arama motorlarına kaydedilmez.
Sitemap: http://www.site.com/sitemap.xml
User-agent: *
Disallow:
Yukarıdaki kod ile ayrıca bir de sitenizin sitemap yolunu arama motorlarına göstermiş oluyorsunuz.
Kategori: SEO'ya Dair




Şubat 14th, 2010 at 05:12
teşekkürler bende sizin sitenizden bakıp siteme yapmıştım
Şubat 16th, 2010 at 04:27
teşekkürler nora
Şubat 16th, 2010 at 21:49
teşekürler
Şubat 19th, 2010 at 21:20
Pekala bu kon ne işe yarar ?
User-agent: *
Allow: /
Mart 1st, 2010 at 16:45
Serkan o tüm sayfalara Botların girmesine izin vermektir.