5 Phút SEO: Kiểm Tra Website Có Đang Chặn Google Lập Chỉ Mục Không

1. Kết quả cần có sau 5 phút

Sau 5 phút, bạn biết chắc website của mình có đang tự chặn Google lập chỉ mục hay không, và nếu có thì đang chặn ở đúng nơi nào trong bốn nơi. Đây là lỗi hay gặp nhất sau khi bàn giao website, và cũng là lỗi tốn kém nhất: mọi việc SEO khác đều vô nghĩa nếu trang không được vào chỉ mục.

Bạn cần ba thứ trước khi bắt đầu: quyền quản trị WordPress, quyền vào Search Console của website, và một trình duyệt. Không cần cài thêm gì.

Ba kết luận bạn sẽ có: trang đại diện của website đang được phép lập chỉ mục hay không, nguyên nhân nằm ở đâu nếu đang bị chặn, và câu lệnh sửa tương ứng với đúng nguyên nhân đó.

2. Bốn nơi có thể đang chặn Google, và chỉ bốn

Một trang WordPress bị chặn khỏi kết quả tìm kiếm chỉ có thể do bốn nơi: công tắc trong phần Cài đặt của WordPress, thẻ meta robots trên trang, header phản hồi X-Robots-Tag, hoặc dòng chặn trong tệp robots.txt. Biết đủ bốn nơi là biết mình đang tìm ở đâu, thay vì mò từng plugin.

Bốn nơi này khác nhau về cách hoạt động, và chỗ đó quyết định cách sửa:

Khác biệt ở dòng cuối là chỗ nhiều người hiểu nhầm, và mục 7 nói riêng về nó.

3. Nơi thứ nhất: công tắc trong WordPress

Vào Cài đặt rồi vào Đọc, tìm dòng "Ngăn công cụ tìm kiếm lập chỉ mục trang web này" và xem ô đó có đang được tích hay không. Nếu đang tích, đây gần như chắc chắn là nguyên nhân, và bỏ tích là xong.

Ô này tồn tại để dùng trong lúc dựng website. Vấn đề là nó rất hay bị quên: người dựng bật nó ngày đầu, bàn giao, rồi không ai tắt. Website chạy bình thường với người đọc, chỉ có công cụ tìm kiếm là không thấy.

Tài liệu chặn lập chỉ mục của Google có nói thẳng tới trường hợp này: với hệ quản trị nội dung như WordPress, bạn có thể không sửa HTML trực tiếp được, nên hệ quản trị đưa ra một trang thiết lập riêng để khai báo thay.

Đây là nơi đáng kiểm đầu tiên vì nó rẻ nhất: mất mười giây và loại được nguyên nhân ảnh hưởng tới cả website.

4. Nơi thứ hai: thẻ meta robots trên trang

Nơi thứ hai cần kiểm là thẻ meta robots nằm trên chính trang đó: mở trang cần kiểm, xem mã nguồn, tìm chuỗi name="robots" và đọc giá trị của nó. Thấy chữ noindex trong thẻ meta robots nghĩa là riêng trang này đang bị chặn lập chỉ mục, còn các trang khác của website vẫn bình thường. Khác với công tắc ở nơi thứ nhất, thẻ này áp cho từng trang một.

Cách xem mã nguồn nhanh nhất: bấm chuột phải vào trang rồi chọn xem nguồn trang, sau đó tìm trong trang bằng tổ hợp phím tìm kiếm của trình duyệt. Thẻ này nằm trong phần head.

Theo tài liệu thẻ meta robots và X-Robots-Tag, thẻ <meta name="robots" content="noindex"> áp cho mọi công cụ tìm kiếm có hỗ trợ quy tắc này, còn <meta name="googlebot" content="noindex"> chỉ áp cho bot của Google.

Một chi tiết dễ bỏ sót: thẻ này phải nằm trong phần head thì mới có tác dụng, và phần head phải hợp lệ. Tài liệu dùng HTML hợp lệ để khai siêu dữ liệu của Google giải thích vì sao: khi gặp một phần tử không được phép nằm trong head, trình phân tích coi như phần head đã kết thúc ở đó, và mọi thẻ khai sau nó không được đọc tới. Nghĩa là một thẻ noindex khai đúng vẫn có thể không có tác dụng, và ngược lại. Các cú pháp còn lại của thẻ này nằm ở bài Meta Robots Tag là gì.

5. Nơi thứ ba: header X-Robots-Tag

Header X-Robots-Tag mang đúng ý nghĩa như thẻ meta robots nhưng gửi trong phản hồi HTTP, nên nhìn mã nguồn trang sẽ không thấy nó. Đây là lý do nhiều người kiểm mã nguồn thấy sạch mà trang vẫn không vào chỉ mục.

Cách kiểm không cần cài gì: mở công cụ dành cho nhà phát triển của trình duyệt, sang thẻ Network, tải lại trang, bấm vào yêu cầu đầu tiên rồi đọc phần Response Headers. Tìm dòng bắt đầu bằng x-robots-tag.

Header này thường do máy chủ hoặc một lớp trung gian đặt, ví dụ cấu hình của nhà cung cấp hosting, tường lửa ứng dụng, hoặc một dịch vụ đứng trước website. Vì nó không nằm trong WordPress nên đổi plugin hay đổi theme đều không gỡ được.

Nếu website có bản thử nghiệm và bản chính, hãy kiểm cả hai. Rất hay gặp cảnh bản thử nghiệm được đặt header chặn cho đúng, rồi cấu hình đó bị chép nhầm sang bản chính lúc chuyển.

6. Nơi thứ tư: tệp robots.txt

Mở địa chỉ website của bạn rồi thêm /robots.txt vào cuối, đọc xem có dòng Disallow nào đang chặn đường dẫn bạn cần đưa vào chỉ mục hay không. Tệp này nằm ở gốc website và ai cũng xem được.

Theo tài liệu giới thiệu robots.txt của Google, tệp này nói cho bot biết được phép yêu cầu những đường dẫn nào trên website. Nó điều khiển việc thu thập, không điều khiển việc lập chỉ mục.

Hai dòng cần đọc kỹ nhất khi kiểm nhanh:

• Disallow: / chặn toàn bộ website. Nếu thấy dòng này dưới User-agent: * thì bạn đã tìm ra nguyên nhân.
• Disallow: để trống thì không chặn gì, đây là dòng bình thường.

Cách viết và các quy tắc đầy đủ nằm trong tài liệu cách Google hiểu robots.txt và cách viết tệp robots.txt. Đọc kỹ hai tài liệu đó trước khi sửa tay, vì một dòng sai chỗ ảnh hưởng tới cả website. Phần nền về cú pháp và các trường hợp dùng nằm ở bài File robots.txt là gì.

7. Cái bẫy lớn nhất: chặn trong robots.txt làm thẻ noindex mất tác dụng

Nếu một trang vừa bị chặn trong robots.txt vừa có thẻ noindex thì thẻ noindex KHÔNG có tác dụng, và trang vẫn có thể xuất hiện trong kết quả tìm kiếm. Đây là điều tài liệu Google nói rõ, và nó ngược với trực giác của hầu hết mọi người.

Lý do rất đơn giản khi nghĩ theo thứ tự: robots.txt ngăn bot TẢI trang về. Bot không tải được trang thì không đọc được nội dung trang, mà thẻ noindex lại nằm trong nội dung trang. Nghĩa là bạn vừa dán một tờ giấy ghi "đừng lập chỉ mục" lên cửa, vừa khóa cửa lại để không ai đọc được tờ giấy đó.

Tài liệu chặn lập chỉ mục viết: để quy tắc noindex có hiệu lực, trang hoặc tài nguyên đó không được bị robots.txt chặn và bot phải truy cập được. Nếu trang bị chặn hoặc bot không vào được, bot sẽ không bao giờ thấy quy tắc noindex, và trang vẫn có thể xuất hiện trong kết quả, ví dụ khi có website khác trỏ liên kết tới nó.

Một điều nữa từ cùng tài liệu, đáng nhớ vì nhiều hướng dẫn cũ nói ngược: khai noindex trong tệp robots.txt là cách Google không hỗ trợ. Viết Noindex: trong robots.txt không có tác dụng gì.

Rút ra: muốn một trang biến mất khỏi kết quả tìm kiếm, hãy để bot vào được trang và đặt noindex bằng thẻ meta hoặc header. Muốn tiết kiệm lượt thu thập cho những đường dẫn không đáng tải, mới dùng robots.txt. Hai việc khác nhau, hai công cụ khác nhau.

8. Quy trình 5 phút, làm theo đúng thứ tự

Thứ tự dưới đây đi từ nguyên nhân rẻ nhất tới nguyên nhân khó thấy nhất, nên phần lớn trường hợp bạn dừng lại ở bước 1 hoặc bước 2. Làm đúng thứ tự tiết kiệm được nhiều thời gian hơn là làm nhanh từng bước.

1. Phút thứ nhất. Mở Cài đặt rồi Đọc trong WordPress, xem ô ngăn công cụ tìm kiếm lập chỉ mục. Đang tích thì bỏ tích, lưu, và sang bước 5 để xác minh.
2. Phút thứ hai. Mở trang cần kiểm, xem mã nguồn, tìm name="robots". Có noindex thì ghi lại rồi sang mục 12 để tìm chỗ bật tắt tương ứng.
3. Phút thứ ba. Mở công cụ nhà phát triển, thẻ Network, tải lại trang, đọc Response Headers của yêu cầu đầu tiên, tìm x-robots-tag.
4. Phút thứ tư. Mở /robots.txt và tìm dòng Disallow đang chạm tới đường dẫn của bạn.
5. Phút thứ năm. Mở Search Console, dùng công cụ kiểm tra URL cho chính trang đó và đọc kết luận của Google thay vì đoán.

Nếu cả bốn nơi đều sạch mà trang vẫn không có trong kết quả, nguyên nhân không nằm ở việc chặn, và bạn nên chuyển sang hướng khác chứ đừng sửa tiếp bốn nơi này.

9. Dấu hiệu nào ứng với nguyên nhân nào

Mỗi dấu hiệu bạn thấy trên website thường ứng với một nguyên nhân cụ thể trong bốn nơi, và bảng dưới đây giúp bạn chọn chỗ kiểm trước cho nhanh. Nhưng dấu hiệu chỉ để chọn thứ tự kiểm, không để kết luận: kết luận luôn phải đến từ bước kiểm thật, vì hai nguyên nhân khác nhau có thể cho cùng một dấu hiệu.

10. Kiểm bằng công cụ kiểm tra URL của Search Console

Công cụ kiểm tra URL của Search Console cho biết Google thật sự thấy gì ở trang của bạn, nên nó là bước xác nhận cuối cùng chứ không phải bước đoán. Bốn bước trước là đi tìm nguyên nhân trong bốn nơi, còn bước kiểm bằng Search Console này là đối chứng: nó nói cho bạn kết luận của chính Google thay vì suy luận của bạn.

Cách dùng: mở Search Console cho website của bạn, dán URL cần kiểm vào ô tìm kiếm ở trên cùng, rồi đọc kết quả. Muốn kiểm bản đang chạy thay vì bản đã lưu, chọn kiểm tra URL trực tiếp.

Hướng dẫn đầy đủ của công cụ nằm ở tài liệu công cụ kiểm tra URL. Nếu bạn chưa có Search Console cho website, hướng dẫn bắt đầu với Search Console chỉ cách xác minh quyền sở hữu.

Một lưu ý về thời gian: kết quả kiểm tra URL phản ánh tình trạng tại thời điểm Google thu thập gần nhất, còn kiểm tra trực tiếp thì phản ánh ngay lúc này. Sau khi sửa, hãy dùng bản trực tiếp để xác nhận thay vì tin vào bản đã lưu.

11. Đọc kết quả kiểm tra URL: bốn trạng thái hay gặp

Kết quả kiểm tra URL trả về một trạng thái, và bốn trạng thái dưới đây phủ gần hết các ca thực tế, mỗi trạng thái chỉ thẳng tới một nhóm nguyên nhân khác nhau. Đọc đúng trạng thái là đã đi được nửa đường sửa, còn đọc sai thì bạn sẽ đi sửa một nơi không phải nguyên nhân.

Trang đã có trên Google

Trang đang trong chỉ mục. Nếu bạn vẫn không tìm thấy nó khi tìm kiếm thì vấn đề nằm ở thứ hạng hoặc ở truy vấn bạn dùng, không nằm ở việc bị chặn. Đừng sửa bốn nơi ở trên. Nếu Google báo đã chọn một URL chuẩn khác, hướng xử lý nằm ở bài kiểm self-canonical.

Bị loại trừ bởi thẻ noindex

Google đã tải được trang và đọc thấy quy tắc noindex. Nguyên nhân nằm ở nơi thứ hai hoặc nơi thứ ba, tức thẻ meta hoặc header. Đây là trạng thái dễ sửa nhất vì nó nói đúng nguyên nhân.

Bị chặn bởi robots.txt

Google không tải được trang. Sửa ở tệp robots.txt trước, rồi mới nói tới chuyện trang có thẻ noindex hay không, vì chừng nào còn bị chặn thì thẻ đó không được đọc tới.

Đã thu thập nhưng chưa được lập chỉ mục

Google vào được trang và không bị chặn, nhưng chọn chưa đưa vào chỉ mục. Đây không phải lỗi kỹ thuật chặn, nên bốn bước ở trên không giải quyết được. Hướng xử lý nằm ở chất lượng và độ hữu ích của nội dung, không nằm ở thẻ robots.

12. Sửa theo từng nguyên nhân

Mỗi nguyên nhân trong bốn nơi có đúng một chỗ sửa tương ứng, và sửa nhầm chỗ thì vừa mất thời gian vừa có thể tạo ra lỗi mới. Bảng dưới đây gắn từng nguyên nhân với chỗ sửa và với cách xác nhận sau khi sửa, để bạn không phải đoán xem mình đã sửa đúng hay chưa.

Sau mỗi lần sửa, chỉ đổi một thứ rồi xác nhận. Đổi ba thứ cùng lúc thì khi trang quay lại chỉ mục bạn cũng không biết thứ nào có tác dụng.

13. Rank Math: chỗ bật tắt lập chỉ mục

Trong Rank Math, chỗ bật tắt lập chỉ mục nằm ở hai tầng: tầng chung áp theo loại nội dung, và tầng riêng áp cho từng bài hoặc từng trang. Phải kiểm cả hai tầng, vì thiết lập riêng của một bài ghi đè thiết lập chung, nên một bài vẫn có thể bị chặn dù cấu hình chung của Rank Math đang cho phép.

Tầng riêng nằm ngay trong màn hình soạn bài: mở phần thiết lập của Rank Math cho bài đó, sang mục nâng cao, và xem tùy chọn lập chỉ mục đang đặt là gì. Đây là nơi hay bị đặt nhầm nhất vì nó nằm trong luồng viết bài hằng ngày.

Tầng chung nằm trong khu thiết lập của plugin, phần dành cho từng loại nội dung như bài viết, trang, danh mục và thẻ. Một cấu hình chung đặt sai làm cả một loại nội dung biến mất khỏi kết quả tìm kiếm cùng lúc.

Sau khi đổi, đừng tin vào giao diện plugin. Tải lại trang thật và xem mã nguồn, vì thứ quyết định là thẻ có trong HTML chứ không phải ô chọn trong trang quản trị.

14. Yoast SEO: chỗ bật tắt lập chỉ mục

Trong Yoast SEO, chỗ bật tắt lập chỉ mục cũng nằm ở hai tầng như Rank Math, và câu hỏi hiện ra là cho phép hiển thị nội dung này trong kết quả tìm kiếm hay không. Trả lời không ở tầng riêng của Yoast SEO sẽ đặt noindex cho đúng bài đó, còn trả lời không ở tầng chung sẽ đặt noindex cho cả một loại nội dung.

Tầng riêng nằm trong hộp Yoast dưới trình soạn thảo, ở phần nâng cao. Tầng chung nằm trong khu thiết lập của plugin, chia theo loại nội dung và theo phân loại.

Nếu website đang chạy cả Rank Math lẫn Yoast thì dừng lại và xử lý việc đó trước, vì hai plugin cùng khai thẻ robots sẽ cho kết quả khó đoán. Một website chỉ nên có một plugin SEO đang hoạt động, và cách kiểm nhanh nằm ở bài hai plugin SEO cùng hoạt động.

15. Trang nào nên chặn, và chặn bằng cách nào cho đúng

Không phải mọi trang đều nên vào chỉ mục, nhưng chọn sai công cụ để chặn thì kết quả ngược với mong muốn. Quy tắc gọn: muốn trang biến mất khỏi kết quả thì dùng noindex, muốn tiết kiệm lượt thu thập thì dùng robots.txt.

Đừng dùng cả hai cùng lúc cho một trang. Như mục 7 đã nói, chặn trong robots.txt làm thẻ noindex không được đọc tới.

16. Sau khi sửa: yêu cầu Google kiểm lại

Sửa xong, dùng công cụ kiểm tra URL để kiểm bản trực tiếp, rồi yêu cầu lập chỉ mục cho trang đó. Đây là cách báo cho Google biết trang đã đổi, thay vì chờ vòng thu thập tự nhiên.

Với một trang, yêu cầu lập chỉ mục ngay trong công cụ kiểm tra URL là đủ. Với nhiều trang cùng lúc, gửi sơ đồ website là cách phù hợp hơn, vì yêu cầu từng URL không dùng được ở quy mô lớn. Cách kiểm sơ đồ website chỉ chứa URL cần lập chỉ mục nằm ở bài kiểm sitemap WordPress.

Đừng gửi yêu cầu nhiều lần cho cùng một URL. Gửi lại không làm Google xử lý nhanh hơn, và việc cần làm sau khi gửi là chờ rồi kiểm lại, không phải bấm thêm.

17. Bao lâu thì trang quay lại kết quả tìm kiếm

Không có mốc thời gian cam kết được, và bất kỳ ai đưa ra một con số chính xác cho trường hợp của bạn đều đang đoán. Thứ bạn kiểm soát được là gỡ đúng nguyên nhân và báo lại cho Google.

Điều đáng nói hơn con số: việc được thu thập và việc được lập chỉ mục là hai bước khác nhau. Gỡ chặn xong thì bước một thông, nhưng bước hai vẫn là quyết định của Google dựa trên nội dung. Trang mỏng hoặc trùng lặp có thể vẫn không vào chỉ mục dù không còn bị chặn.

Cách theo dõi đúng: mỗi vài ngày kiểm lại bằng công cụ kiểm tra URL và xem trạng thái có đổi không, thay vì tìm kiếm thủ công trên Google rồi kết luận.

18. Checklist dùng ngay

Checklist dùng ngay dưới đây gom cả bốn nơi thành năm dòng, mỗi dòng mất khoảng một phút, và bạn chép nó vào ghi chú để chạy lại mỗi lần bàn giao website hoặc đổi hosting. Chạy đủ năm dòng theo thứ tự là bạn đã loại hết khả năng website đang tự chặn Google lập chỉ mục.

• Cài đặt, Đọc: ô ngăn công cụ tìm kiếm lập chỉ mục đang TẮT.
• Mã nguồn trang đại diện: không có noindex trong thẻ name="robots".
• Response Headers: không có x-robots-tag mang giá trị noindex.
• /robots.txt: không có dòng Disallow nào chạm tới đường dẫn cần lập chỉ mục.
• Kiểm tra URL trong Search Console cho trang đại diện: trạng thái là đã có trên Google, hoặc ít nhất không phải bị chặn.

Muốn một vòng nghiệm thu rộng hơn trước khi xuất bản, xem quy trình QA SEO WordPress bằng Rank Math.

Điều kiện nghiệm thu: cả năm dòng đều đạt, và công cụ kiểm tra URL bản trực tiếp xác nhận trang không bị chặn bởi bất kỳ tín hiệu nào.

19. Câu hỏi thường gặp

Phần câu hỏi thường gặp dưới đây gom những hiểu nhầm hay gặp nhất quanh việc chặn Google lập chỉ mục, phần lớn đều xoay quanh chỗ lẫn giữa robots.txt và thẻ noindex. Khi phân vân, hãy nhớ một câu duy nhất: robots.txt điều khiển việc bot có được tải trang về hay không, còn noindex điều khiển việc trang có được đưa vào chỉ mục hay không.

Viết Noindex trong tệp robots.txt có được không?

Không. Tài liệu Google nói rõ khai quy tắc noindex trong robots.txt là cách họ không hỗ trợ. Muốn chặn lập chỉ mục thì dùng thẻ meta robots hoặc header X-Robots-Tag.

Chặn trong robots.txt có làm trang biến mất khỏi kết quả không?

Không chắc, và thường là không. Trang bị chặn vẫn có thể xuất hiện trong kết quả nếu website khác trỏ liên kết tới nó, chỉ là Google không đọc được nội dung nên phần mô tả sẽ trống hoặc lấy từ nguồn khác.

Có nên vừa chặn robots.txt vừa đặt noindex cho chắc không?

Không. Hai thứ đó chống nhau: bị chặn thì bot không tải được trang, nên không bao giờ đọc được thẻ noindex. Kết quả là trang vừa không bị gỡ khỏi chỉ mục, vừa không được đọc nội dung.

Thẻ googlebot khác thẻ robots ở chỗ nào?

Thẻ name="robots" áp cho mọi công cụ tìm kiếm có hỗ trợ quy tắc này, còn name="googlebot" chỉ áp cho bot của Google. Các công cụ tìm kiếm khác có thể hiểu quy tắc theo cách khác nhau.

Đã gỡ chặn mà trang vẫn chưa vào chỉ mục thì sao?

Kiểm lại bằng công cụ kiểm tra URL. Nếu trạng thái là đã thu thập nhưng chưa lập chỉ mục thì nguyên nhân không còn nằm ở việc chặn, mà nằm ở chỗ Google chưa thấy trang đủ đáng đưa vào chỉ mục. Lúc đó sửa nội dung, không sửa thẻ robots.

Thẻ noindex đặt đúng mà vẫn không có tác dụng, vì sao?

Thẻ noindex đặt đúng mà không có tác dụng thường do hai khả năng. Một, trang đang bị robots.txt chặn nên bot không tải được trang và thẻ noindex không bao giờ được đọc tới. Hai, thẻ nằm ngoài phần head hợp lệ: khi trong head có một phần tử không được phép, phần head coi như kết thúc ở đó và mọi thẻ khai sau nó không được đọc.

Website có thể chạy hai plugin SEO cùng lúc không?

Không nên. Hai plugin cùng khai thẻ robots cho một trang sẽ cho kết quả khó đoán, và khi gỡ lỗi bạn không biết thẻ đang hiện ra là của plugin nào. Chỉ nên có một plugin SEO đang hoạt động.

Nên chạy checklist này bao lâu một lần?

Mỗi lần bàn giao website, mỗi lần đổi hosting hoặc đổi lớp dịch vụ đứng trước website, và mỗi lần cài hoặc đổi plugin SEO. Ba thời điểm đó là lúc cấu hình chặn hay bị đặt lại hoặc chép nhầm.

Kết luận: bốn nơi có thể chặn Google, và bạn kiểm hết trong 5 phút theo thứ tự công tắc WordPress, thẻ meta, header, robots.txt, rồi xác nhận bằng công cụ kiểm tra URL. Điều đáng nhớ nhất là robots.txt và noindex làm hai việc khác nhau, dùng cả hai cho một trang thì chúng vô hiệu hóa lẫn nhau.

20. Nguồn tham khảo

Toàn bộ nguồn tham khảo của bài này là tài liệu chính thức của Google, và mỗi liên kết trong danh sách dưới đây đã được mở kiểm trả về bình thường trước khi đưa vào bài. Khi một hướng dẫn ở đâu đó nói khác tài liệu gốc, hãy theo tài liệu gốc, vì phần chặn lập chỉ mục là chỗ có rất nhiều hướng dẫn cũ đã hết đúng.

• Chặn lập chỉ mục bằng noindex
• Thông số kỹ thuật của thẻ meta robots và header X-Robots-Tag
• Giới thiệu về robots.txt
• Cách Google hiểu tệp robots.txt
• Cách viết tệp robots.txt
• Công cụ kiểm tra URL trong Search Console
• Bắt đầu với Search Console
• Dùng HTML hợp lệ để khai siêu dữ liệu trang

Bốn bước kiểm trong bài này là bài đầu tiên của khóa Học SEO Online, phần sửa nhanh cho WordPress. Bạn làm trên chính website của mình rồi nộp ảnh chụp trước sau.