Crawl Errors & Status Codes - Cách xử lý lỗi 404, 5xx, Soft 404 và tác động của chúng tới thứ hạng

1. Tổng quan về Crawl Errors & HTTP Status Codes

Crawl Errors là các lỗi xảy ra khi bot tìm kiếm (điển hình là Googlebot) không thể truy cập hoặc xử lý URL đúng như kỳ vọng.
HTTP Status Codes là mã phản hồi chuẩn của máy chủ, cho biết trạng thái xử lý yêu cầu từ client (trình duyệt hoặc bot).

Bảng phân loại HTTP Status Codes trong SEO

Bốn nhóm mã ứng với bốn mức ảnh hưởng khác nhau. Nhóm 2xx là thành công và tốt cho lập chỉ mục, nhóm 3xx trung lập hoặc tích cực nếu dùng đúng, nhóm 4xx tiêu cực khi số lượng lớn, còn nhóm 5xx là nhóm nguy hiểm nhất. Số lượng mới là thứ biến một mã bình thường thành vấn đề.

2. Lỗi 404 (Not Found)

Lỗi 404 xảy ra khi server không tìm thấy tài nguyên tương ứng với URL được yêu cầu.
Đây là lỗi phổ biến nhất trong quá trình crawl và không phải lúc nào cũng xấu nếu được quản lý đúng.

2.1. Định nghĩa và nguyên lý hoạt động

Lỗi 404 là phản hồi chuẩn HTTP cho biết URL không tồn tại. Google chấp nhận 404 như một trạng thái “bình thường của web”.

2.2. Khi nào 404 là tốt - khi nào là xấu?

Mã 404 không phải lúc nào cũng xấu, nó chỉ xấu khi sai chỗ. Trang sản phẩm ngừng bán vĩnh viễn thì trả 404 hoặc 410 là hợp lý; trang còn backlink và lưu lượng thì nên chuyển hướng 301. Còn 404 phát sinh hàng loạt do lỗi kỹ thuật thì luôn là dấu hiệu rất xấu.

2.3. Tác động tới thứ hạng

Ba tác động ở đây đều gián tiếp. Google không phạt website vì có trang lỗi, nhưng số lượng lớn sẽ ngốn ngân sách thu thập, và trang có backlink mà không chuyển hướng thì mất luôn giá trị liên kết đó. Thiệt hại thật nằm ở chỗ mất, không nằm ở chỗ bị phạt.

• Không phạt trực tiếp website
• Lãng phí crawl budget nếu số lượng lớn
• Mất giá trị backlink nếu không redirect

2.4. Cách xử lý lỗi 404

Ba tình huống ứng với ba cách xử lý. Có nội dung thay thế thì chuyển hướng 301, không còn giá trị thì giữ 404 hoặc 410, còn lỗi do liên kết nội bộ thì sửa link. Checklist đi kèm bắt phân loại URL theo có hay không có backlink trước khi quyết định, vì đó là chỗ dễ mất nhất.

Checklist triển khai 404

• Audit 404 trong Google Search Console
• Phân loại URL có/không backlink
• Thiết lập redirect hợp lý
• Thiết kế trang 404 thân thiện người dùng

3. Soft 404

Soft 404 là trường hợp URL trả về mã 200 OK nhưng nội dung lại thể hiện “không tồn tại”.

3.1. Định nghĩa chuẩn SEO

Soft 404 không phải mã HTTP mà là cách Google diễn giải nội dung.
Trang trống, trang “không tìm thấy sản phẩm” nhưng vẫn trả 200 sẽ bị coi là Soft 404.

3.2. Nguyên nhân phổ biến

Ba nguyên nhân ở đây đều là trang có mã thành công nhưng rỗng nội dung. Trang tìm kiếm không có kết quả, trang sản phẩm hết hàng mà không có gì thay thế, và lỗi template làm nội dung mỏng đi. Điểm chung là máy chủ báo ổn trong khi người đọc chẳng thấy gì.

3.3. Tác động tới SEO

Ba hậu quả ở đây nặng hơn một trang lỗi bình thường. Google không lập chỉ mục trang đó, tín hiệu chất lượng bị mất, và cả hệ thống đánh giá nội dung của bạn bị nhiễu theo. Nguy hiểm nằm ở chỗ nó không báo lỗi, nên có thể tồn tại rất lâu mà không ai để ý.

• Google không index
• Mất tín hiệu chất lượng
• Gây nhiễu hệ thống đánh giá nội dung

3.4. Cách xử lý Soft 404

Ba tình huống ba cách làm: trang hết giá trị thì trả 404 hoặc 410 thật, trang còn liên quan thì bổ sung nội dung, trang tìm kiếm thì chặn lập chỉ mục. Cách phát hiện là tìm URL trả về 200 nhưng không có nội dung, rồi so nội dung HTML với intent của trang.

Checklist kiểm tra Soft 404

• Kiểm tra URL trả 200 nhưng không có nội dung
• So sánh HTML content vs intent
• Điều chỉnh status code phù hợp

4. Lỗi 5xx (Server Errors)

Lỗi 5xx cho biết máy chủ không thể xử lý yêu cầu hợp lệ từ bot, thường gặp là 500, 502 và 503. Google giảm crawl rate, thử lại nhiều lần, và có thể loại URL khỏi index nếu lỗi kéo dài. Cách xử lý là kiểm tra server log, giám sát uptime và dùng 503 khi bảo trì.

Lỗi 5xx cho biết máy chủ không thể xử lý yêu cầu hợp lệ từ bot.

4.1. Phân loại lỗi 5xx thường gặp

Ba mã 5xx hay gặp có mức nguy cơ khác nhau. Mã 500 là lỗi nội bộ máy chủ và 502 là lỗi cổng, cả hai đều ở mức cao; mã 503 chỉ ở mức trung bình nếu thật sự là tạm thời. Chữ tạm thời ở đây là điều kiện, không phải lời hứa.

4.2. Nguyên lý Google xử lý 5xx

Google phản ứng với 5xx theo ba bước có thứ tự. Trước hết giảm tốc độ thu thập, sau đó quay lại thử nhiều lần, và nếu tình trạng kéo dài thì có thể loại URL khỏi chỉ mục. Vì phản ứng theo bậc như vậy nên thời gian lỗi mới là biến quan trọng nhất.

• Google giảm crawl rate
• Lặp lại crawl sau nhiều lần
• Có thể loại URL khỏi index nếu kéo dài

4.3. Tác động tới thứ hạng

Mức thiệt hại tỉ lệ với thời gian chứ không với số lần lỗi. Dưới vài giờ thì gần như không ảnh hưởng, kéo dài vài ngày thì giảm thu thập và giảm lập chỉ mục, còn hàng tuần thì mất thứ hạng rõ rệt. Đây là lý do giám sát thời gian hoạt động đáng giá hơn mọi bản vá sau đó.

4.4. Cách xử lý lỗi 5xx

Ba việc xử lý đi từ tìm nguyên nhân tới phòng ngừa. Kiểm nhật ký máy chủ, giám sát thời gian hoạt động, và khi bảo trì có kế hoạch thì trả mã 503 kèm tiêu đề Retry-After. Báo đúng chuẩn lúc bảo trì giúp Google biết quay lại thay vì kết luận trang đã chết.

• Kiểm tra server log
• Giám sát uptime
• Dùng 503 + Retry-After khi bảo trì

Checklist xử lý 5xx

• Thiết lập monitoring server
• Kiểm tra response time
• Audit hosting & CDN
• Thông báo bảo trì đúng chuẩn

5. So sánh 404 - Soft 404 - 5xx

Ba loại lỗi khác nhau ở nguyên nhân, mức nguy hiểm và cách ứng xử. Mã 404 do URL không tồn tại, mức thấp tới trung và chỉ cần quản lý; soft 404 do nội dung rỗng, phải sửa triệt để; còn 5xx là lỗi máy chủ, ảnh hưởng thu thập rất cao và phải xử lý khẩn cấp.

6. Hiểu lầm thường gặp

Ba hiểu lầm ở đây đều đến từ việc chấm điểm mã trạng thái là tốt hay xấu. Trang không tồn tại thì trả mã lỗi là đúng chứ không phải thứ cần xóa hết, soft 404 vẫn là lỗi thật, còn 503 chỉ hơn 500 khi đó là bảo trì có chủ đích. Mã đúng là mã nói thật về tình trạng trang.

• “404 là lỗi xấu cần xoá hết” → Sai
• “Soft 404 không phải lỗi thật” → Sai
• “503 luôn tốt hơn 500” → Chỉ đúng khi bảo trì có chủ đích

7. Ví dụ thực tế

Ví dụ này cho thấy quy mô của một lỗi im lặng. Website thương mại điện tử có 12.000 URL sản phẩm cũ trả về mã 200 nhưng nội dung trống, khiến Google báo soft 404 hàng loạt; sau khi chuyển sang 410 kèm chuyển hướng có chọn lọc, số URL được lập chỉ mục tăng 18% sau 6 tuần.

Một website thương mại điện tử có:

• 12.000 URL sản phẩm cũ trả 200 nhưng nội dung trống
• Google báo Soft 404 hàng loạt
• Sau khi chuyển sang 410 + redirect thông minh
  → Tăng 18% số URL được index sau 6 tuần

8. Kết quả & kinh nghiệm thực tế

Ba thứ nhận được khi quản lý mã trạng thái đúng đều thuộc về phần nền. Google hiểu rõ cấu trúc website, ngân sách thu thập bớt lãng phí, và độ tin cậy kỹ thuật tăng lên. Không cái nào trong ba thứ đó hiện ra trên báo cáo lưu lượng, nhưng thiếu chúng thì mọi việc phía trên đều khó.

• Quản lý đúng status code giúp Google hiểu rõ cấu trúc website
• Giảm lãng phí crawl budget
• Cải thiện độ tin cậy kỹ thuật (technical trust)

9. Lời kết

Crawl Errors & Status Codes không phải là lỗi “cần xoá”, mà là tín hiệu cần được kiểm soát có chiến lược.
Một website mạnh về SEO là website nói đúng ngôn ngữ HTTP với công cụ tìm kiếm, minh bạch, nhất quán và có chủ đích.

Tài liệu thuộc SEO Wiki Việt Nam - dự án chuẩn hoá tri thức SEO cộng đồng.