Cách sử dụng
Nhập tên crawler hoặc dấu * cho nhóm chung, sau đó điền các đường dẫn bắt đầu bằng /. Để trống danh sách Disallow nếu không muốn chặn đường dẫn nào. Kiểm tra tệp hiện có trước khi thay thế robots.txt ở gốc website.
Thử với ví dụ
Bấm Dùng ví dụ, sau đó Tạo kết quả. Đầu vào mẫu:
User-agent:
*
Đường dẫn Disallow, mỗi dòng một mục:
/admin/
/private/
Đường dẫn Allow, mỗi dòng một mục:
/public/
URL sitemap:
https://example.com/sitemap.xml
Giới hạn và cách hiểu kết quả
Chỉ tạo một nhóm crawler. Robots.txt không bảo vệ dữ liệu riêng tư và không phải cách chắc chắn xóa trang khỏi kết quả tìm kiếm. Không tự đọc hay ghi cấu hình website của bạn.
Disallow không thay cho noindex
robots.txt hướng dẫn trình thu thập được phép truy cập những đường dẫn nào. Chặn truy cập không bảo đảm một URL biến mất khỏi kết quả tìm kiếm. Muốn dùng noindex, trình thu thập cần đọc được chỉ thị đó trên trang hoặc trong phản hồi HTTP.
Kiểm tra mẫu đường dẫn trên vài URL thật trước khi triển khai, nhất là quy tắc áp dụng cho toàn bộ website. Đừng chặn tài nguyên cần để hiển thị nội dung chính.