Cloudflare Web Search API: Crawler Đối Tác Phải Tôn Trọng Robots.txt

Cloudflare Web Search API công bố những gì ngày 02/10?

Cloudflare Web Search API là sản phẩm mới cho phép agent AI tìm kiếm web qua AI Gateway. Cloudflare công bố hợp tác với các nhà cung cấp web search, mở đầu với Ceramic.ai, Exa và Linkup. Kết quả tìm kiếm được đưa thẳng vào ngữ cảnh của mô hình để trả lời theo thông tin đang có trên web.

Bốn thông tin chung trong bài công bố

• Vấn đề được nêu: agent thường đoán URL của trang rồi gọi curl để tải. Đoán sai thì nhận lỗi 404 Not Found.
• Đối tác đầu tiên: Ceramic.ai, Exa và Linkup.
• Điểm tích hợp: AI Gateway là điểm tích hợp chính. Cloudflare mô tả AI Gateway là lớp điều khiển có sẵn observability, thanh toán gộp, bảo mật và kiểm soát truy cập.
• Sắp có: Server Tools gắn sẵn trong AI Gateway. Web search sẽ là một trong các tool đầu tiên. Trang gốc không nêu ngày ra.

Bài gốc đăng trong Birthday Week của Cloudflare, toàn văn ở Introducing Web Search API via AI Gateway. Trang gốc không nêu Web Search API có giới hạn theo quốc gia hay ngôn ngữ.

Web Search API cho agent AI tìm kiếm web qua AI Gateway. Ba đối tác đầu tiên là Ceramic.ai, Exa và Linkup.

Chuẩn crawl của Cloudflare đòi hỏi gì ở đối tác Web Search?

Chuẩn crawl của Cloudflare đòi hỏi crawler của nhà cung cấp web search đáp ứng yêu cầu Verified bots mà Cloudflare đã công bố trong tài liệu cho lập trình viên. Kết quả web search phải kèm link tới vị trí của nội dung đã crawl. Cloudflare ghi các đối tác đã nhận đáp ứng chuẩn này.

Ba điều đối tác phải làm theo trang gốc

• Verified bots: crawler của nhà cung cấp web search phải đáp ứng các yêu cầu Verified bots mà Cloudflare công bố trong tài liệu cho lập trình viên.
• Ghi nguồn: kết quả web search phải kèm link tới vị trí của nội dung đã crawl.
• Robots.txt: các nhà vận hành đối tác nhận diện crawler của họ và tôn trọng robots.txt.

Cloudflare viết rằng crawler nên trung thực, minh bạch, tôn trọng mọi luật và tùy chọn dành cho bot. Chủ website nên có quyền minh bạch và kiểm soát thật sự với cách nội dung của họ được dùng. Hãng cho rằng các luật này có lợi cho một Internet công bằng. Trang gốc không nêu Cloudflare kiểm tra việc tuân thủ ra sao, cũng không nêu điều gì xảy ra khi đối tác vi phạm. Nền tảng về tiêu chuẩn robots.txt có ở bài RFC 9309.

Đối tác phải đạt chuẩn Verified bots và ghi link nguồn. Cách Cloudflare kiểm tra không được nêu.

Web Search API ảnh hưởng gì tới website của bạn?

Web Search API liên quan tới website qua crawler của các nhà cung cấp web search. Trang gốc ghi crawler phải tôn trọng robots.txt, và các luật này cho người tạo nội dung tự quyết việc dùng dữ liệu của họ. Trang gốc không nêu lượng truy cập, thứ hạng hay số lượt nhấp website có thể nhận.

Những gì trang gốc nêu và không nêu về website

• Có nêu: crawler phải nhận diện được, tôn trọng robots.txt, và kết quả phải kèm link tới nội dung đã crawl.
• Không nêu: tên user-agent của từng crawler, lượng truy cập website nhận được, tác động tới thứ hạng trên Google hay Bing.

Cách làm của Danh Nolan: đọc lại tệp robots.txt của website, rồi dùng Log File Analysis để biết crawler nào đang ghé. Cách phân loại bot nên chặn và bot nên giữ có ở bài Bot Traffic. Cách viết nội dung để công cụ AI trích dẫn có ở bài GEO.

Trang gốc nói về cách crawler hành xử. Tác động lên lượng truy cập website không được nêu.

Lập trình viên gọi Web Search API qua AI Gateway thế nào?

Lập trình viên gọi Web Search API qua hai cách: một REST endpoint chuẩn, hoặc Workers binding cho ứng dụng chạy trên Cloudflare Workers. Yêu cầu hiện trong log observability của AI Gateway và trừ vào số dư credit AI Gateway. Cloudflare cũng hỗ trợ Bring-Your-Own-Key với các nhà cung cấp web search.

Chi tiết tích hợp theo trang gốc

• Direct REST API: truyền token xác thực AI Gateway, chọn nhà cung cấp trong payload, endpoint trả về kết quả web search.
• Workers binding: gọi env.AI.websearch từ Cloudflare Workers. Ví dụ trên trang gốc dùng nhà cung cấp exa với limit là 5.
• Zero Data Retention: Cloudflare sẽ chỉ ra đối tác nào hỗ trợ ZDR, để người dùng biết dữ liệu của họ không bị lưu lại.
• Server Tools: đang được xây sẵn trong AI Gateway. Trước khi có, trang gốc đưa đoạn mã Worker để tự gọi web search như một tool.

Trang gốc dẫn thêm tài liệu web search cho lập trình viên và AI Playground để thử với tài khoản AI Gateway.

Web Search API gọi được qua REST endpoint hoặc Workers binding. Server Tools còn đang làm, chưa có ngày ra.

Chủ website hay hỏi gì về Cloudflare Web Search API?

Chủ website hay hỏi ba câu về Cloudflare Web Search API: crawler của đối tác có tôn trọng robots.txt không, kết quả có ghi nguồn không, và website có cần làm gì ngay không. Câu trả lời lấy từ chữ trên bài công bố của Cloudflare Blog ngày 02/10/2026.

Crawler của đối tác Web Search API có tôn trọng robots.txt không?

Có, theo chữ trên trang gốc. Cloudflare ghi khi dùng web search trên Cloudflare, bạn lấy kết quả từ các nhà vận hành đã nhận làm ba việc: nhận diện crawler, tôn trọng robots.txt và ghi nguồn kết quả tìm kiếm. Crawler còn phải đáp ứng yêu cầu Verified bots của Cloudflare. Trang gốc không nêu tên user-agent của từng crawler.

Kết quả của Web Search API có ghi nguồn website không?

Có. Trang gốc ghi kết quả web search phải kèm một link tới vị trí của nội dung đã được crawl. Trang gốc không nói link này hiện ra thế nào với người dùng cuối. Cách làm của Danh Nolan là theo dõi lượt truy cập giới thiệu trong công cụ phân tích của website.

Website có cần làm gì ngay khi Web Search API ra mắt không?

Trang gốc không yêu cầu chủ website làm gì. Bài công bố nói với người xây agent AI trên Cloudflare. Cách làm của Danh Nolan: đọc lại robots.txt của website, xem log máy chủ để biết crawler nào đang ghé, rồi quyết định cho phép hay chặn từng crawler theo mục tiêu của website.

Web Search API ra mắt ngày 02/10/2026. Đối tác phải tôn trọng robots.txt và ghi link nguồn.