Trình Tạo Robots.txt
Tạo tệp robots.txt cho trang web của bạn. Kiểm soát việc thu thập dữ liệu của công cụ tìm kiếm với các quy tắc cho phép/không cho phép, tham chiếu sitemap và cài đặt riêng cho từng trình thu thập.
User-agent: * Disallow:
Mẹo
- Đặt robots.txt trong thư mục gốc của trang web
- Sử dụng * làm ký tự đại diện trong đường dẫn
- Hãy nhớ rằng robots.txt có thể truy cập công khai
Công cụ liên quan
🔒 Kết quả tức thì, nhanh hơn AI. Không cần đăng ký. 100% riêng tư.