Screaming Frog Mastery: Quy trình Audit kỹ thuật chuyên sâu

1. Cấu hình Giả lập Googlebot (The Perfect Simulation)

Cấu hình giả lập Googlebot (The Perfect Simulation) bắt đầu từ việc thay đổi danh tính của công cụ. Mặc định, Screaming Frog quét dưới danh nghĩa một trình duyệt bình thường, nên hãy vào Configuration, chọn User-Agent là Googlebot Smartphone, đúng cách Google ưu tiên quét web hiện nay. Nếu website dùng React, Angular hoặc Vue, hãy bật Rendering bằng JavaScript ở mục Spider.

• User-Agent: Vào Configuration > User-Agent. Chọn Googlebot (Smartphone). Đây là cách Google ưu tiên quét web hiện nay (Mobile-First Indexing).
• JavaScript Rendering: Nếu website của bạn dùng React, Angular hoặc Vue, hãy vào Configuration > Spider > Rendering và chọn JavaScript.
  • Mẹo: Điều này giúp bạn phát hiện nội dung nào bị mất nếu JS không thực thi được - một lỗi chí tử khiến trang không thể lên AI Overview.

2. Kỹ thuật quét và Phân tích chuyên sâu (Mastery Techniques)

Kỹ thuật quét và phân tích chuyên sâu, phần Mastery Techniques, gom ba việc kiểm tra làm trên cùng một lần quét toàn site. Ba tiểu mục lần lượt là hố đen Crawl Budget đọc theo cột Status Code, kiểm soát Indexability với noindex và canonical, và Crawl Depth qua tab Site Structure. Đọc để biết cột nào cần lọc và trang nào phải sửa liên kết nội bộ.

Mức chuyên sâu không phải là biết thêm nhiều thủ thuật, mà là biết bỏ bớt việc không cần làm. Khóa Học SEO Master lấy đó làm nguyên tắc xuyên suốt.

2.1. Tìm kiếm "Hố đen" Crawl Budget

Cách tìm chỗ lãng phí ngân sách thu thập là quét toàn site rồi lọc theo cột mã phản hồi. Với nhóm chuyển hướng, xem báo cáo chuỗi chuyển hướng để xuất danh sách các địa chỉ đang làm bot đi vòng. Với nhóm lỗi không tìm thấy, xem tab liên kết vào để biết trang nào đang trỏ tới chúng.

Quét toàn bộ site và lọc theo cột Status Code.

• 301 Redirect: Tìm các Redirect Chains (Chuỗi chuyển hướng). Click vào tab Reports > Redirects > Redirect Chains để xuất danh sách các URL đang làm chậm Bot.
• 404 Errors: Kiểm tra tab Inlinks ở phía dưới để biết chính xác liên kết nội bộ nào đang trỏ vào trang lỗi 404 và sửa chúng.

2.2. Kiểm soát Indexability (Khả năng lập chỉ mục)

Lọc theo cột khả năng lập chỉ mục cho biết trang nào không vào được chỉ mục và vì sao. Ba nguyên nhân hay gặp là thẻ chặn lập chỉ mục, canonical trỏ đi nơi khác, hoặc bị chặn trong tệp robots. Cần soi thêm nhóm canonical trỏ sai địa chỉ hoặc thiếu thẻ tự trỏ.

Lọc theo cột Indexability.

• Non-Indexable: Kiểm tra lý do (do noindex, do canonical hay bị chặn bởi robots.txt).
• Canonical Mess: Tìm các trang có thẻ Canonical trỏ sai địa chỉ hoặc không có thẻ Canonical tự tham chiếu (Self-referencing).

2.3. Kiểm tra cấu trúc phân cấp (Crawl Depth)

Tab cấu trúc site cho biết mỗi trang nằm cách trang chủ bao nhiêu lần bấm. Nếu trang quan trọng nằm sâu hơn bốn cấp thì đó là vấn đề lớn, vì bot hiếm khi đi tới đó. Cách xử lý là cấu hình lại liên kết nội bộ để kéo chúng lại gần trang chủ hơn.

Vào tab Site Structure.

• Nếu các trang quan trọng có Crawl Depth > 4, bạn đang gặp vấn đề lớn. Googlebot sẽ hiếm khi quét tới những trang này. Bạn cần cấu hình lại hệ thống Internal Link để đưa chúng "gần" trang chủ hơn.

3. Khai thác dữ liệu Multimedia và Schema

Khai thác dữ liệu Multimedia và Schema tách hai việc kiểm trên cùng một bản quét. Tiểu mục đầu lọc tab Images để tìm ảnh có dung lượng trên 100kb, ảnh thiếu thẻ Alt và ảnh không khai chiều rộng, chiều cao. Tiểu mục sau bật Extraction cho JSON-LD, Microdata, RDFa rồi đọc tab Structured Data. Đọc để biết ảnh nào làm hỏng CLS và Schema nào đang lỗi.

3.1. Audit Hình ảnh (Image SEO)

Lọc tab hình ảnh giúp tìm ba loại vấn đề cùng lúc. Ảnh dung lượng trên 100kb làm chậm trang, ảnh thiếu mô tả thay thế thì máy không hiểu, còn ảnh không khai chiều rộng và chiều cao thì gây xê dịch bố cục. Nhóm thứ ba là nhóm ảnh hưởng trực tiếp tới chỉ số trải nghiệm.

Lọc tab Images. Tìm các ảnh:

• Dung lượng > 100kb.
• Thiếu thẻ Alt (Alt text).
• Ảnh không có thuộc tính chiều rộng/chiều cao (Gây lỗi CLS).

3.2. Kiểm tra dữ liệu cấu trúc (Structured Data)

Kiểm tra dữ liệu cấu trúc bắt đầu ở Configuration, Spider, Extraction: tích chọn JSON-LD, Microdata và RDFa. Sau khi quét, tab Structured Data cho biết Schema nào bị lỗi hoặc thiếu trường thông tin bắt buộc. AI Overview dựa nhiều vào dữ liệu này để hiểu nội dung.

• Sau khi quét, tab Structured Data sẽ cho bạn biết Schema nào bị lỗi hoặc thiếu các trường thông tin bắt buộc. AI Overview dựa dẫm rất nhiều vào dữ liệu này để hiểu nội dung của bạn.

4. Bulk Export: Xuất dữ liệu để thực thi (Actionable Data)

Bulk Export trong Screaming Frog xuất dữ liệu để thực thi, tức danh sách việc cần làm cho đội ngũ lập trình. Client Error (4xx) Inlinks liệt kê mọi link hỏng. Missing Alt Text Inlinks liệt kê ảnh cần tối ưu. Insecure Content liệt kê các link http trong môi trường https.

Screaming Frog mạnh nhất ở khả năng xuất danh sách "việc cần làm" cho đội ngũ lập trình:

• Bulk Export > Response Codes > Client Error (4xx) Inlinks: Danh sách mọi link hỏng trên trang.
• Bulk Export > Images > Missing Alt Text Inlinks: Danh sách mọi ảnh cần tối ưu nội dung.
• Bulk Export > Security > Insecure Content: Danh sách các link http trong môi trường https.

5. Checklist thực hành Screaming Frog Mastery

Checklist thực hành Screaming Frog Mastery gom năm việc cần làm xong để coi một bản quét là đủ. Năm mục hỏi bạn đã đổi User-Agent sang Googlebot Smartphone chưa, đã xem tab Response Time chưa, đã tìm Near Duplicates ở tab Content chưa, đã kiểm Robots.txt và đã nối API với Google Search Console chưa. Đọc để biết bản quét vừa rồi bỏ sót bước nào.

Một kỹ năng chỉ chắc khi lặp lại được trên website khác với website đã tập. Khóa Học SEO bố trí nhiều lần lặp như vậy.

• [ ] 1. Giả lập: Đã chuyển User-Agent sang Googlebot Smartphone chưa?
• [ ] 2. Tốc độ: Đã kiểm tra tab Response Time để tìm các trang tải chậm nhất chưa?
• [ ] 3. Trùng lặp: Đã kiểm tra tab Content để tìm các bài viết bị trùng lặp nội dung gần như hoàn toàn (Near Duplicates) chưa?
• [ ] 4. Robots.txt: Đã dùng tính năng Configuration > Robots.txt > Settings để xem Bot có bị chặn ở đâu không?
• [ ] 5. API Integration: Đã kết nối với Google Search Console và PageSpeed Insights để lấy dữ liệu về Traffic và Core Web Vitals chưa?

6. Kết luận: Screaming Frog và AI Overview

Kết luận về Screaming Frog và AI Overview: làm chủ Screaming Frog giúp bạn xây dựng một website không tì vết về kỹ thuật. Sửa hết lỗi Canonical và Redirect thì Google AI nhận diện thực thể của bạn nhất quán, không nhầm lẫn. Mọi ngóc ngách của website nằm trong tầm với của Bot, nên dữ liệu cho câu trả lời của AI luôn tươi mới.

1. Dữ liệu nhất quán: Khi bạn sửa hết lỗi Canonical và Redirect, Google AI sẽ nhận diện thực thể của bạn một cách nhất quán, không bị nhầm lẫn.
2. Khả năng tiếp cận: Đảm bảo mọi ngóc ngách của website đều nằm trong tầm với của Bot, giúp dữ liệu luôn được cập nhật tươi mới cho các câu trả lời của AI.

Lời kết: Screaming Frog là ống kính hiển vi của chuyên gia SEO. Khi bạn nhìn thấy những gì Googlebot thấy, bạn không còn làm SEO theo cảm tính nữa, mà bạn đang điều khiển cuộc chơi bằng dữ liệu chính xác.