Robot.txt dosyanızın istediğiniz gibi çalışarak, sitenizin arama motorlarının botları tarafından tamamen indekslenmesi için aşağıdaki kurallara uymanız gerekir;
1. Robot.txt dosyanız alt URL’lerde değil, kök dizinde olmalıdır.
2. Robotların sitenizi taramasını engellemek için robot.txt dosyanıza şunu ekleyin :
User-agent: *Disallow: /
3. Sitenizi yalnızca Google'dan çıkarmak ve yalnızca Googlebot'un gelecekte sitenizi taramasını engellemek için robot.txt dosyanıza şunu ekleyin :
User-agent: GooglebotDisallow: / 4. Her bağlantı noktasının kendi robots.txt dosyası olmalıdır. Özellikle hem http, hem de https üzerinden içerik sunuyorsanız bu protokollerin her biri için ayrı bir robots.txt dosyası gerekir. Örneğin, Googlebot'un dizine tüm http sayfalarını ekleyip https sayfalarını eklememesi için aşağıdaki robots.txt dosyalarını kullanmalısınız.
User-agent: *Allow: /https protokolü için (https://sunucunuz.com.tr/robots.txt):User-agent: *Disallow: / 5. Bir alan adının köküne erişiminiz yoksa, erişimi robots meta etiketini kullanarak kısıtlayabilirsiniz.
Robots Meta Tag: Sitenizdeki bir sayfanın hiçbir robot tarafından dizine eklenmemesi için aşağıdaki meta etiketi sayfanızın <head> kısmına yerleştirin: <meta name="robots" content="noindex"> Sitenizdeki bir sayfanın diğer robotlar tarafından dizine eklenmesine izin verip yalnızca Google'ın robotlarını engellemek için:
<meta name="googlebot" content="noindex"> 6. En basit robots.txt dosyası iki kural kullanır:
· User-agent: aşağıdaki kuralın geçerli olduğu robot
· Disallow: engellemek istediğiniz URL
Bu iki satır, dosyada tek bir giriş sayılır. İstediğiniz kadar çok giriş ekleyebilirsiniz. Tek girişe birden çok Disallow satırı ve birden çok user-agent ekleyebilirsiniz. 7. Bir girişi belirli bir bota (adını listeleyerek) veya tüm botlara (yıldız işareti koyarak) uygulanacak şekilde ayarlayabilirsiniz. Tüm botlara uygulanan bir giriş şöyle görünür:
User-agent: *
8. Disallow satırında engellemek istediğiniz sayfalar listelenir. Belirli bir URL'yi veya dize kalıbını listeleyebilirsiniz. Girişin düz eğik çizgiyle (/) başlaması gerekir.
· Sitenizdeki sayfalarda AdSense reklamları görüntülemeye devam ederken bu sayfaların taranmasını engellemek için Mediapartners-Google dışındaki tüm botları engelleyin. Bu, sayfaların arama sonuçlarında görünmesini engellemekle birlikte Mediapartners-Google robotunun gösterilecek reklamları belirlemek üzere sayfaları analiz etmesine olanak sağlar. Mediapartners-Google robotu, sayfaları diğer Google user-agent'ları ile paylaşmaz. Örneğin:
User-agent: *Disallow: / User-agent: Mediapartners-GoogleAllow: / · Sitenin tamamını engellemek için düz eğik çizgi kullanın.
· Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek içindizin adının sonuna bir düz eğik çizgi koyun.
· Bir sayfayı engellemek için o sayfayı listeleyin.
· Belirli bir görseli Google Görseller'den kaldırmak için şunları ekleyin:
User-agent: Googlebot-Image
Disallow: /gorseller/kopekler.jpg
Kayıtlar
0 kişi bu yazıya yorum yapmıştır.:
Yorum Gönder