Robot.txt Ne İşe Yarar

Robot.txt dosyası, herhangi bir arama motoru sitenize sitenizi indeksleyeceği zaman, hangi sayfaların dizine eklenmemesi yada hangi sayfaların daha önemli olduğuna dair bilgi aldığı bir dosya türüdür. Bir arama motoru botu sitenize geldiğin ilk olarak robot.txt dosyasını arar ve en kolay / en hızlı ulaşabildikleri yer ise sitenizin kök dizinidir. Bu yüzden alt URL’lere yerleştirilmiş robot.txt dosyası arama motorlarının botları tarafından dikkate alınmaz. İndekslenmesini istemediniz URL’ler var ise bunları alt sayfalarda açacağınız robot.txt ‘e değil, kök dizinde bulunan robot.txt ’e bildirmeniz gerekir.

Robot.txt dosyası doğru kullanıldığında, sitenizin bütün içeriğini arama motoruna indeksletebilirsiniz. Bu da siteniz ziyaretçi sayısı iyi oranda artıracaktır.