robots.txt Nerede Bulunur ?
robots.txt dosyası sitenizin kök dizinin (genelde www,public_html,httpdocs'dur.) de bulunur.Çünkü arama motorları sitenize geldiğinde ilk önce robots.txt dosyasını arar.robots.txt dosyasında yazanlara göre sitenizde nereleri kayıt altına alınıp alınmayacağını sorgular.robots.txt dosyası ile sitenizde bulunan klasörleri veya tamamen sitenizin arama motorlarına kayıt altına alınmasını engelleyebilirsiniz.Önemli bir uyarı:

www.site.com/klasor/robots.txt

Yukarıdaki gibi bir robots.txt dosyası arama motorları tarafından dikkate alınmayacaktır.Çünkü daha öncede bahsettiğimiz gibi  arama motorları robots.txt dosyasını sitenizin kök dizininde arar.
robots.txt Nasıl Oluşturulur ?

User-agent: *
Disallow: /
Yukarıdaki kod sitenizin arama motorlarına kayıt altına alınmasını engeller.

User-agent: *
Disallow:
Yukarıdaki kod sitenizin arama motorlarına kayıt altına alınmasını sağlar.Eğer robots.txt dosyanız yoksa siteniz arama motorlarına kaydedilir.

User-agent: *
Disallow: /test/
Yukarıdaki kod ile eğer ftp adresinizde test diye bir klasör varsa, o klasör arama motorlarına kaydedilmez.

Sitemap: http://www.site.com/sitemap.xml
User-agent: *
Disallow:
Yukarıdaki kod ile ayrıca bir de sitenizin sitemap yolunu arama motorlarına göstermiş oluyorsunuz.