Tệp Robots.txt là gì? Hướng dẫn tối ưu cú pháp chuẩn SEO chi tiết tới Z

Cách Tạo Tệp Robots.txt Bằng Plugin SEO WordPress (Yoast SEO / All in One SEO)

Với Website WordPress, Plugin SEO WordPress (Yoast SEO / All in One SEO) có thể hỗ trợ quản trị tệp robots.txt trực tiếp từ giao diện quản trị. Phương pháp này phù hợp với người không muốn truy cập máy chủ bằng FTP.

Trước tiên, cần đăng nhập trang quản trị WordPress bằng tài khoản có quyền phù hợp. Sau đó, mở khu vực quản lý của plugin SEO đang sử dụng và tìm chức năng liên quan đến robots.txt hoặc File Editor. Vị trí menu có thể thay đổi theo phiên bản plugin.

Khi mở trình chỉnh sửa, Nguyễn Minh có thể xem nội dung robots.txt hiện tại và chỉnh sửa các quy tắc User-agent, Disallow, Allow hoặc khai báo Sitemap.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.com/sitemap_index.xml

Với WordPress, việc hạn chế /wp-admin/ thường được sử dụng để giảm hoạt động Crawl tại khu vực quản trị. Tuy nhiên, đường dẫn admin-ajax.php có thể được cần cho một số chức năng trên Website. Do đó, không nên thêm hoặc xóa quy tắc Allow một cách máy móc.

Quan trọng nhất là không chặn các URL chứa nội dung cần SEO. Nếu một thư mục chứa bài viết, sản phẩm hoặc trang dịch vụ đang muốn Index, việc thêm Disallow có thể khiến Googlebot không thể Crawl nội dung.

Sau khi lưu, hãy kiểm tra trực tiếp https://domain.com/robots.txt. Nếu nội dung hiển thị đúng, hãy tiếp tục kiểm tra bằng Google Search Console và các công cụ phân tích crawl.

Cách Tạo Và Tải Tệp Robots.txt Lên Máy Chủ Qua Giao Thức FTP

Phương pháp FTP phù hợp khi Website không sử dụng plugin SEO hỗ trợ chỉnh sửa robots.txt hoặc quản trị viên muốn kiểm soát trực tiếp file trên máy chủ.

File phải ở định dạng văn bản thuần túy .txt. Không nên lưu dưới dạng robots.txt.html, robots.txt.docx hoặc định dạng khác.

User-agent: *
Disallow: /admin/

Sitemap: https://domain.com/sitemap.xml

Sau đó, mở phần mềm FTP như FileZilla và nhập thông tin kết nối do nhà cung cấp hosting cung cấp. Thông tin thường bao gồm máy chủ FTP, tên người dùng, mật khẩu và cổng kết nối.

Sau khi kết nối thành công, tìm Thư mục gốc (Root directory) của Website. Tùy cấu hình hosting, thư mục này có thể có tên như public_html, www, htdocs hoặc thư mục riêng được máy chủ chỉ định.

Sau khi xác định đúng thư mục, sử dụng FTP/FileZilla để tải file từ máy tính lên máy chủ. Khi quá trình hoàn tất, mở trình duyệt và truy cập https://domain.com/robots.txt. Nếu thấy đúng nội dung đã tạo, file đã được tải lên đúng vị trí.

Sau khi triển khai, hãy kiểm tra lại toàn bộ quy tắc theo thứ tự: File Location → File Name → File Format → User-agent → Disallow → Allow → Sitemap XML → HTTP Status.

Cuối cùng, hãy xác minh robots.txt bằng Google Search Console và theo dõi dữ liệu Crawl Stats, Indexing cùng hiệu suất URL sau khi thay đổi. Cách kiểm tra này giúp đánh giá tác động thực tế thay vì chỉ dựa trên việc file có hiển thị hay không.

Lệnh Disallow Trong Robots.txt Kiểm Soát Crawl, Không Phải Lệnh Noindex

Lệnh Disallow là cú pháp dùng để chặn bot truy cập vào một URL, file hoặc thư mục cụ thể. Khi Googlebot đọc robots.txt và gặp quy tắc Disallow phù hợp với User-agent, bot sẽ được yêu cầu không Crawl đường dẫn nằm trong phạm vi đó.

User-agent: *
Disallow: /private/

Quy tắc trên yêu cầu crawler không truy cập các URL thuộc phạm vi /private/.

Mục tiêu chính của Disallow là Crawl Control. Website có thể dùng cách này để hạn chế bot truy cập các khu vực không cần thiết cho SEO, giảm URL không có giá trị hoặc quản lý hoạt động của Web Crawler.

Thẻ Meta Noindex Kiểm Soát Indexing Của Một Trang

Thẻ Meta Noindex là thẻ khai báo HTML/Header dùng để chặn lập chỉ mục triệt để thay vì chỉ chặn thu thập dữ liệu.

<meta name="robots" content="noindex">

Tín hiệu này cho công cụ tìm kiếm biết rằng trang không nên được đưa vào chỉ mục. Với Googlebot, để đọc được tín hiệu noindex, crawler cần có khả năng truy cập URL. Vì vậy, nếu đồng thời chặn URL bằng robots.txt, Googlebot có thể không thể Crawl trang để đọc thẻ Noindex.

Đây là điểm tạo ra khác biệt quan trọng giữa Robots.txt vs. Meta Robots:

Có thể áp dụng Noindex cho các trang không cần xuất hiện trên Google nhưng vẫn cần được crawler truy cập để xử lý tín hiệu. Ví dụ có thể bao gồm một số trang kết quả tìm kiếm nội bộ, trang lọc hoặc nội dung không muốn đưa vào Google Search.

Khi Nào Nên Dùng Disallow Và Khi Nào Nên Dùng Noindex?

Nguyễn Minh có thể lựa chọn dựa trên mục tiêu SEO cụ thể.

Nên cân nhắc Disallow khi:

• Muốn hạn chế crawler truy cập một khu vực không cần thiết.
• Muốn quản lý Crawl budget trên Website lớn.
• Muốn giảm hoạt động Crawl tại các URL kỹ thuật.
• Muốn kiểm soát phạm vi hoạt động của một loại crawler.
• Muốn áp dụng chính sách riêng cho Googlebot hoặc AI Crawler / GPTBot.

User-agent: *
Disallow: /admin/
Disallow: /private/

Nên cân nhắc Meta Noindex khi:

• Trang vẫn cần crawler truy cập nhưng không muốn xuất hiện trong Index.
• Muốn loại một URL khỏi kết quả tìm kiếm.
• Muốn kiểm soát Indexing ở cấp độ từng trang.
• Muốn giữ khả năng Crawl nhưng không muốn trang được lập chỉ mục.

<meta name="robots" content="noindex, follow">

Trong trường hợp này, crawler có thể truy cập trang và xử lý các liên kết trên trang, nhưng trang được yêu cầu không đưa vào chỉ mục.

Không Nên Kết Hợp Disallow Và Noindex Một Cách Máy Móc

Một lỗi phổ biến trong Technical SEO là vừa chặn URL bằng robots.txt vừa đặt Meta Noindex trên chính URL đó với mục tiêu loại trang khỏi Google.

User-agent: *
Disallow: /page-a/

Đồng thời:

<meta name="robots" content="noindex">

Cấu hình này có thể không đạt mục tiêu như mong muốn. Nếu Googlebot bị Disallow, bot không thể truy cập /page-a/ để đọc Meta Noindex.

Nếu mục tiêu chính là Index vs. Noindex, cần bảo đảm Googlebot có thể Crawl URL để đọc tín hiệu Noindex. Nếu mục tiêu chính là Crawl vs. Block, robots.txt có thể phù hợp hơn.

Robots.txt, Meta Noindex Và Sitemap XML Cần Hoạt Động Thống Nhất

Trong một chiến lược SEO On-page và Technical SEO, ba thành phần này có vai trò khác nhau:

• Robots.txt: hướng dẫn crawler về quyền truy cập.
• Meta Noindex: thông báo trang không nên được Index.
• Sitemap XML: cung cấp danh sách URL mà Website muốn công cụ tìm kiếm phát hiện và xem xét.

Ví dụ, nếu một URL có giá trị SEO và muốn được Index, không nên đồng thời:

Disallow: /important-page/

và:

<meta name="robots" content="noindex">

URL quan trọng cũng không nên bị loại khỏi Sitemap XML nếu Website muốn ưu tiên khả năng phát hiện và Indexing.

Ngược lại, một trang không cần xuất hiện trên Google có thể được xử lý bằng Meta Noindex nếu vẫn cần crawler truy cập. Khi đó, cần cân nhắc việc đưa URL vào Sitemap và kiểm soát phạm vi truy cập một cách hợp lý.

Kiểm Tra Googlebot Có Truy Cập Được Tệp Robots.txt Không

Đầu tiên, mở trình duyệt và truy cập trực tiếp https://domain.com/robots.txt. Thay domain.com bằng tên miền thực tế của Website.

Tệp cần nằm tại Thư mục gốc (Root directory) của host. Nếu Website sử dụng HTTPS, nên kiểm tra phiên bản HTTPS. Nếu Website có nhiều subdomain, mỗi host có thể có chính sách robots.txt riêng.

Khi truy cập, cần kiểm tra:

• File có mở được không?
• Nội dung có phải văn bản thuần túy không?
• File có đúng tên robots.txt không?
• File có nằm tại Root directory không?
• Website có trả về HTTP response lỗi không?
• Có quy tắc Disallow: / ngoài ý muốn không?
• Sitemap XML có khai báo đúng URL không?

Nếu truy cập domain.com/robots.txt nhưng nhận lỗi 404, file có thể chưa được đặt đúng vị trí. Nếu nhận lỗi máy chủ, cần kiểm tra cấu hình hosting hoặc máy chủ web.

Kiểm Tra Lỗi Cú Pháp Trong Tệp Robots.txt

Robots.txt sử dụng các chỉ thị như User-agent, Disallow, Allow và Sitemap. Cú pháp sai có thể khiến quy tắc không được xử lý theo dự kiến.

User-agent: *
Disallow: /admin/

Sitemap: https://domain.com/sitemap.xml

Khi kiểm tra, cần rà soát từng nhóm quy tắc theo thứ tự: User-agent → Disallow → Allow → Sitemap.

Một số lỗi thường gặp gồm:

• Viết sai tên file robots.txt.
• Đặt file sai thư mục.
• Sử dụng cú pháp không hợp lệ.
• Khai báo User-agent không đúng.
• Chặn nhầm thư mục chứa nội dung SEO.
• Chặn URL quan trọng bằng Disallow: /.
• Khai báo Sitemap XML sai địa chỉ.
• Sử dụng URL Sitemap không tồn tại.
• Sao chép cấu hình từ Website khác mà không kiểm tra lại.

Ví dụ, quy tắc sau có thể gây ảnh hưởng lớn:

User-agent: *
Disallow: /

Quy tắc này yêu cầu crawler không truy cập toàn bộ phạm vi Website đối với User-agent tương ứng. Nếu Website đang cần Googlebot Crawl và Index nội dung, đây có thể là lỗi nghiêm trọng.

Ngược lại, cấu hình:

User-agent: *
Disallow:

không đặt giới hạn Crawl cho User-agent này.

Kiểm Tra Các URL Quan Trọng Có Bị Disallow Nhầm Không

Đây là bước quan trọng nhất khi kiểm tra robots.txt. Nguyễn Minh khuyên bạn nên lập danh sách các URL cần Googlebot truy cập, chẳng hạn:

• Trang chủ.
• Trang dịch vụ.
• Trang danh mục.
• Bài viết.
• Trang sản phẩm.
• Hình ảnh hoặc tài nguyên cần thiết cho việc hiển thị.

Sau đó, đối chiếu các URL này với quy tắc Disallow. Ví dụ:

User-agent: *
Disallow: /blog/

Nếu toàn bộ nội dung SEO của Website nằm trong /blog/, quy tắc này có thể khiến Googlebot không thể Crawl các bài viết. Vì vậy, không nên áp dụng Disallow chỉ dựa trên tên thư mục. Cần hiểu rõ Website Architecture và chức năng thực tế của từng đường dẫn.

Kiểm Tra Robots.txt Trong Google Search Console

Nguyễn Minh sử dụng Search Console để kiểm tra các báo cáo liên quan đến:

• Page indexing: theo dõi trạng thái lập chỉ mục của URL.
• URL Inspection: kiểm tra khả năng Google truy cập và xử lý một URL cụ thể.
• Crawl Stats: theo dõi hoạt động thu thập dữ liệu của Googlebot.
• Sitemaps: kiểm tra trạng thái Sitemap XML đã gửi.

Khi một URL quan trọng không được Index, không nên kết luận ngay rằng robots.txt là nguyên nhân. Hãy dùng URL Inspection để kiểm tra URL cụ thể, sau đó đối chiếu với robots.txt, Meta Robots, HTTP response và các vấn đề kỹ thuật khác.

Nếu URL bị chặn bởi robots.txt, cần xác định quy tắc nào đang tác động đến URL đó. Sau khi chỉnh sửa, có thể kiểm tra lại khả năng truy cập và theo dõi dữ liệu trong Search Console.

Kiểm Tra Sitemap XML Có Mâu Thuẫn Với Robots.txt Không

Một lỗi phổ biến là đưa URL vào Sitemap XML nhưng đồng thời lại chặn URL bằng robots.txt. Ví dụ:

User-agent: *
Disallow: /san-pham/

Trong khi Sitemap lại chứa:

https://domain.com/san-pham/san-pham-a/
https://domain.com/san-pham/san-pham-b/

Cấu hình này tạo ra tín hiệu không nhất quán. Sitemap cho biết Website muốn công cụ tìm kiếm phát hiện các URL, trong khi robots.txt lại hạn chế Googlebot truy cập.

Vì vậy, khi kiểm tra Sitemap trong Google Search Console, cần đối chiếu URL trong sitemap với robots.txt. Một URL quan trọng muốn được Crawl và Index nên có:

• Không bị robots.txt chặn.
• Trả về HTTP status phù hợp.
• Không có Meta Noindex ngoài ý muốn.
• Có thể được phát hiện qua Sitemap XML hoặc Internal Link.
• Nội dung đáp ứng tiêu chí chất lượng và giá trị tìm kiếm.

Kiểm Tra Sau Khi Chỉnh Sửa Robots.txt

Sau khi thay đổi robots.txt, Nguyễn Minh không nên chỉ kiểm tra xem file có hiển thị hay không. Cần đánh giá tác động đến toàn bộ quá trình Crawl và Index Website. Quy trình kiểm tra nên gồm:

• Bước 1: Mở domain.com/robots.txt và xác nhận file hoạt động.
• Bước 2: Kiểm tra lại User-agent và phạm vi áp dụng.
• Bước 3: Rà soát toàn bộ Disallow và Allow.
• Bước 4: Kiểm tra các URL quan trọng có bị chặn không.
• Bước 5: Kiểm tra Sitemap XML có hoạt động và khai báo đúng không.
• Bước 6: Dùng URL Inspection trong Google Search Console để kiểm tra các URL quan trọng.
• Bước 7: Theo dõi Page Indexing và Crawl Stats sau khi triển khai.
• Bước 8: Nếu phát hiện lỗi, khôi phục phiên bản robots.txt trước đó và kiểm tra lại từng quy tắc.

Một lưu ý quan trọng là thay đổi robots.txt không đồng nghĩa với việc Google sẽ cập nhật mọi trạng thái ngay lập tức. Crawler cần thời gian để đọc lại file và xử lý các tín hiệu mới.