Generator Robots.txt
Buat file robots.txt untuk website Anda. Kontrol perayapan mesin pencari dengan aturan izinkan/larang, referensi sitemap, dan pengaturan khusus crawler.
User-agent: * Disallow:
Tips
- Letakkan robots.txt di direktori root website Anda
- Gunakan * sebagai wildcard di path
- Ingat bahwa robots.txt dapat diakses publik
Alat Terkait
🔒 Hasil instan, lebih cepat dari AI. Tanpa daftar. 100% privat.