Tạo file robots.txt chuẩn SEO với các quy tắc Allow/Disallow, User-agent, Sitemap và nhiều tùy chọn khác.
1. Chọn mẫu có sẵn hoặc tạo tùy chỉnh
2. Chọn User-agent (bot cần áp dụng quy tắc)
3. Thêm các quy tắc Allow/Disallow cho đường dẫn
4. Nhập URL sitemap của website
5. Nhấn "Tạo Robots.txt" và copy nội dung vào file robots.txt ở thư mục gốc website
6. Nhấn "Xử lý" (hoặc tên button tương ứng) hoặc phím tắt Ctrl+Enter.
7. Sao chép kết quả hoặc nhấn Ctrl+K để xóa.
• File robots.txt phải đặt tại thư mục gốc: https://example.com/robots.txt
• Viết hoa chữ cái đầu: "Disallow" không phải "disallow"
• Dấu * có thể dùng làm wildcard (vd: /admin/* chặn tất cả trong /admin/)
• Disallow: / = chặn toàn bộ website
• Robots.txt KHÔNG phải là biện pháp bảo mật, chỉ là hướng dẫn cho bot lịch sự
• Kiểm tra kết quả bằng Google Search Console > Robots.txt Tester
Robots.txt là file văn bản đặt ở thư mục gốc website để hướng dẫn các công cụ tìm kiếm (search engine bots) nên truy cập hoặc không nên truy cập những phần nào của website. Đây là tiêu chuẩn Robots Exclusion Protocol (REP).
User-agent: Chỉ định bot cụ thể (Googlebot, Bingbot) hoặc * cho tất cả
Disallow: Đường dẫn KHÔNG cho phép bot truy cập
Allow: Đường dẫn CHO PHÉP bot truy cập (ghi đè Disallow nếu cụ thể hơn)
Sitemap: Vị trí file sitemap XML giúp bot tìm URL dễ hơn
Crawl-delay: Khoảng thời gian (giây) giữa các lần truy cập (không áp dụng với Googlebot)
Googlebot: Bot của Google Search
Googlebot-Image: Bot thu thập hình ảnh của Google
Bingbot: Bot của Bing Search
Slurp: Bot của Yahoo
DuckDuckBot: Bot của DuckDuckGo
Baiduspider: Bot của Baidu (Trung Quốc)
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /xmlrpc.php Disallow: /?s= Disallow: /author/ Sitemap: https://example.com/sitemap.xml
