Thử quy tắc robots.txt với URL

Cách sử dụng

Dán robots.txt và URL cần thử. Báo cáo dùng quy tắc khớp dài nhất, ưu tiên Allow khi cùng độ dài; hỗ trợ * và $ cuối đường dẫn.

Thử với ví dụ

Chọn Dùng ví dụ để điền dữ liệu mẫu, rồi chọn Tạo kết quả. Điều chỉnh các trường cho phù hợp với dữ liệu thật.

Nội dung robots.txt:

User-agent: *
Disallow: /private/
Allow: /private/public/

URL cần thử, mỗi dòng một địa chỉ:

https://example.com/private/a
https://example.com/private/public/a

User-agent:

Googlebot

Giới hạn và cách hiểu kết quả

Không lấy robots.txt trực tiếp từ website và không mô phỏng cache, lỗi HTTP hay mọi hành vi crawler.