Robots.txt Dosyası Nedir ? Ne İşe Yarar ?

robots.txt dosyası sitenizin arama motorları tarafından kayıt alınıp alınmayacağını sağlayan dosyadır.robots.txt dosyası ile isterseniz arama motorlarında sitenizin görünmesini engelleyebilirsiniz. Google SEO yönergelerinde robots.txt’de vardır.

robots.txt Nerede Bulunur ?
robots.txt dosyası sitenizin kök dizinin (genelde www,public_html,httpdocs'dur.) de bulunur.Çünkü arama motorları sitenize geldiğinde ilk önce robots.txt dosyasını arar.robots.txt dosyasında yazanlara göre sitenizde nereleri kayıt altına alınıp alınmayacağını sorgular.robots.txt dosyası ile sitenizde bulunan klasörleri veya tamamen sitenizin arama motorlarına kayıt altına alınmasını engelleyebilirsiniz.Önemli bir uyarı: