Generator Robots.txt

Buat file robots.txt untuk website Anda. Kontrol perayapan mesin pencari dengan aturan izinkan/larang, referensi sitemap, dan pengaturan khusus crawler.

Cara Membuat Robots.txt File

  1. 1 Pilih pengguna usiant (semua robots, Googlebot, atau kustom)
  2. 2 Tambahkan Izinkan dan Dissemuaow rules dengan spesifik paths
  3. 3 Masukkan sitemap URL ke help crawlers find konten
  4. 4 Opsional Atur crawl delay untuk tingkat batasing
  5. 5 Salin genetingkatd robots.txt atau Unduh file

Alat Terkait

🔒 Hasil instan, lebih cepat dari AI. Tanpa daftar. 100% privat.

Terakhir diperbarui: 15 Januari 2026 · v2.1