Generator Robots.txt
Buat file robots.txt untuk website Anda. Kontrol perayapan mesin pencari dengan aturan izinkan/larang, referensi sitemap, dan pengaturan khusus crawler.
Cara Membuat Robots.txt File
- 1 Pilih pengguna usiant (semua robots, Googlebot, atau kustom)
- 2 Tambahkan Izinkan dan Dissemuaow rules dengan spesifik paths
- 3 Masukkan sitemap URL ke help crawlers find konten
- 4 Opsional Atur crawl delay untuk tingkat batasing
- 5 Salin genetingkatd robots.txt atau Unduh file
Alat Terkait
🔒 Hasil instan, lebih cepat dari AI. Tanpa daftar. 100% privat.
Terakhir diperbarui: 15 Januari 2026 · v2.1