User-Agent Kuralları
Farklı botlar için kurallar belirleyin
Ek Ayarlar
Oluşturulan Robots.txt
Web sitenizin kök dizinine yüklenecek dosya
User-agent: * Disallow: /admin Disallow: /private Allow: /
Robots.txt Kuralları
User-agent: Hangi botlar için kural geçerli
Disallow: Bota erişim yasağı getirilen yollar
Allow: Disallow kuralına istisna getirilen yollar
Crawl-delay: Bot istekleri arasındaki bekleme süresi
Sitemap: XML sitemap dosyasının konumu
Host: Tercih edilen domain adı
Yaygın Örnekler
/admin - Admin paneli/private - Özel dosyalar/*.pdf$ - PDF dosyaları/search?* - Arama sonuçları/wp-admin - WordPress admin