ตัวสร้าง Robots.txt

วิธีสร้างRobots.txt ไฟล์

1. 1 เลือกuser agent (all robots, Googlebot, หรือ custom)
2. 2 เพิ่มAllow และDisallow rules with specific paths
3. 3 ป้อนsitemap URL to help crawlers find contentของคุณ
4. 4 ตามต้องการ set crawl delay for rate limiting
5. 5 คัดลอกgenerated robots.txt หรือ ดาวน์โหลดfile