Nguồn: bài Introducing Web Search API via AI Gateway trên Cloudflare Blog, công bố lúc 13 giờ 28 UTC ngày 02/10/2026 (20 giờ 28 giờ Việt Nam), đọc lúc 7 giờ 40 ngày 03/10/2026 giờ Việt Nam.
Cloudflare Web Search API công bố những gì ngày 02/10?
Cloudflare Web Search API là sản phẩm mới cho phép agent AI tìm kiếm web qua AI Gateway. Cloudflare công bố hợp tác với các nhà cung cấp web search, mở đầu với Ceramic.ai, Exa và Linkup. Kết quả tìm kiếm được đưa thẳng vào ngữ cảnh của mô hình để trả lời theo thông tin đang có trên web.
Bốn thông tin chung trong bài công bố
- Vấn đề được nêu: agent thường đoán URL của trang rồi gọi curl để tải. Đoán sai thì nhận lỗi 404 Not Found.
- Đối tác đầu tiên: Ceramic.ai, Exa và Linkup.
- Điểm tích hợp: AI Gateway là điểm tích hợp chính. Cloudflare mô tả AI Gateway là lớp điều khiển có sẵn observability, thanh toán gộp, bảo mật và kiểm soát truy cập.
- Sắp có: Server Tools gắn sẵn trong AI Gateway. Web search sẽ là một trong các tool đầu tiên. Trang gốc không nêu ngày ra.
Bài gốc đăng trong Birthday Week của Cloudflare, toàn văn ở Introducing Web Search API via AI Gateway. Trang gốc không nêu Web Search API có giới hạn theo quốc gia hay ngôn ngữ.
Web Search API cho agent AI tìm kiếm web qua AI Gateway. Ba đối tác đầu tiên là Ceramic.ai, Exa và Linkup.
Chuẩn crawl của Cloudflare đòi hỏi gì ở đối tác Web Search?
Chuẩn crawl của Cloudflare đòi hỏi crawler của nhà cung cấp web search đáp ứng yêu cầu Verified bots mà Cloudflare đã công bố trong tài liệu cho lập trình viên. Kết quả web search phải kèm link tới vị trí của nội dung đã crawl. Cloudflare ghi các đối tác đã nhận đáp ứng chuẩn này.
Ba điều đối tác phải làm theo trang gốc
- Verified bots: crawler của nhà cung cấp web search phải đáp ứng các yêu cầu Verified bots mà Cloudflare công bố trong tài liệu cho lập trình viên.
- Ghi nguồn: kết quả web search phải kèm link tới vị trí của nội dung đã crawl.
- Robots.txt: các nhà vận hành đối tác nhận diện crawler của họ và tôn trọng robots.txt.
Cloudflare viết rằng crawler nên trung thực, minh bạch, tôn trọng mọi luật và tùy chọn dành cho bot. Chủ website nên có quyền minh bạch và kiểm soát thật sự với cách nội dung của họ được dùng. Hãng cho rằng các luật này có lợi cho một Internet công bằng. Trang gốc không nêu Cloudflare kiểm tra việc tuân thủ ra sao, cũng không nêu điều gì xảy ra khi đối tác vi phạm. Nền tảng về tiêu chuẩn robots.txt có ở bài RFC 9309.
Đối tác phải đạt chuẩn Verified bots và ghi link nguồn. Cách Cloudflare kiểm tra không được nêu.
Web Search API ảnh hưởng gì tới website của bạn?
Web Search API liên quan tới website qua crawler của các nhà cung cấp web search. Trang gốc ghi crawler phải tôn trọng robots.txt, và các luật này cho người tạo nội dung tự quyết việc dùng dữ liệu của họ. Trang gốc không nêu lượng truy cập, thứ hạng hay số lượt nhấp website có thể nhận.
Những gì trang gốc nêu và không nêu về website
- Có nêu: crawler phải nhận diện được, tôn trọng robots.txt, và kết quả phải kèm link tới nội dung đã crawl.
- Không nêu: tên user-agent của từng crawler, lượng truy cập website nhận được, tác động tới thứ hạng trên Google hay Bing.
Cách làm của Danh Nolan: đọc lại tệp robots.txt của website, rồi dùng Log File Analysis để biết crawler nào đang ghé. Cách phân loại bot nên chặn và bot nên giữ có ở bài Bot Traffic. Cách viết nội dung để công cụ AI (SI - Super Intelligence) trích dẫn có ở bài GEO.
Trang gốc nói về cách crawler hành xử. Tác động lên lượng truy cập website không được nêu.
Lập trình viên gọi Web Search API qua AI Gateway thế nào?
Lập trình viên gọi Web Search API qua hai cách: một REST endpoint chuẩn, hoặc Workers binding cho ứng dụng chạy trên Cloudflare Workers. Yêu cầu hiện trong log observability của AI Gateway và trừ vào số dư credit AI Gateway. Cloudflare cũng hỗ trợ Bring-Your-Own-Key với các nhà cung cấp web search.
Chi tiết tích hợp theo trang gốc
- Direct REST API: truyền token xác thực AI Gateway, chọn nhà cung cấp trong payload, endpoint trả về kết quả web search.
- Workers binding: gọi
env.AI.websearchtừ Cloudflare Workers. Ví dụ trên trang gốc dùng nhà cung cấp exa với limit là 5. - Zero Data Retention: Cloudflare sẽ chỉ ra đối tác nào hỗ trợ ZDR, để người dùng biết dữ liệu của họ không bị lưu lại.
- Server Tools: đang được xây sẵn trong AI Gateway. Trước khi có, trang gốc đưa đoạn mã Worker để tự gọi web search như một tool.
Trang gốc dẫn thêm tài liệu web search cho lập trình viên và AI Playground để thử với tài khoản AI Gateway.
Web Search API gọi được qua REST endpoint hoặc Workers binding. Server Tools còn đang làm, chưa có ngày ra.
Chủ website hay hỏi gì về Cloudflare Web Search API?
Chủ website hay hỏi ba câu về Cloudflare Web Search API: crawler của đối tác có tôn trọng robots.txt không, kết quả có ghi nguồn không, và website có cần làm gì ngay không. Câu trả lời lấy từ chữ trên bài công bố của Cloudflare Blog ngày 02/10/2026.
Crawler của đối tác Web Search API có tôn trọng robots.txt không?
Có, theo chữ trên trang gốc. Cloudflare ghi khi dùng web search trên Cloudflare, bạn lấy kết quả từ các nhà vận hành đã nhận làm ba việc: nhận diện crawler, tôn trọng robots.txt và ghi nguồn kết quả tìm kiếm. Crawler còn phải đáp ứng yêu cầu Verified bots của Cloudflare. Trang gốc không nêu tên user-agent của từng crawler.
Kết quả của Web Search API có ghi nguồn website không?
Có. Trang gốc ghi kết quả web search phải kèm một link tới vị trí của nội dung đã được crawl. Trang gốc không nói link này hiện ra thế nào với người dùng cuối. Cách làm của Danh Nolan là theo dõi lượt truy cập giới thiệu trong công cụ phân tích của website.
Website có cần làm gì ngay khi Web Search API ra mắt không?
Trang gốc không yêu cầu chủ website làm gì. Bài công bố nói với người xây agent AI trên Cloudflare. Cách làm của Danh Nolan: đọc lại robots.txt của website, xem log máy chủ để biết crawler nào đang ghé, rồi quyết định cho phép hay chặn từng crawler theo mục tiêu của website.
Web Search API ra mắt ngày 02/10/2026. Đối tác phải tôn trọng robots.txt và ghi link nguồn.
Cách kiểm soát crawler Web Search API ghé website của bạn
Các bước giúp chủ website biết crawler nào đang ghé, kiểm tra robots.txt và quyết định cho phép hay chặn từng crawler của nhà cung cấp web search theo mục tiêu website.
- Đọc lại tệp robots.txtMở tệp robots.txt của website, xem đang cho phép hay chặn bot nào, vì crawler của đối tác Web Search API phải tôn trọng robots.txt.
- Xem log máy chủDùng Log File Analysis trên log máy chủ để biết crawler nào đang ghé website và ghé những trang nào.
- Phân loại bot nên chặn, nên giữDùng cách phân loại ở bài Bot Traffic để xếp từng crawler vào nhóm nên chặn hoặc nhóm nên giữ, theo mục tiêu của website.
- Quyết định cho phép hay chặnCập nhật robots.txt để cho phép hoặc chặn từng crawler theo mục tiêu website. Crawler đạt chuẩn của Cloudflare phải làm theo tùy chọn đó.
- Theo dõi lượt truy cập giới thiệuXem lượt truy cập giới thiệu trong công cụ phân tích của website, vì kết quả web search phải kèm link tới nội dung đã crawl.
Câu hỏi thường gặp về Web Search API
Chủ website có biết được tên user-agent crawler của Ceramic.ai, Exa hay Linkup không?
Chưa biết được từ bài công bố. Trang gốc của Cloudflare không nêu tên user-agent của từng crawler đối tác. Cách làm của Danh Nolan là dùng Log File Analysis trên log máy chủ để xem crawler nào đang ghé website, rồi đối chiếu với tệp robots.txt hiện có.
Web Search API có làm website tăng hay giảm lượng truy cập không?
Chưa có câu trả lời từ Cloudflare. Trang gốc không nêu lượng truy cập, thứ hạng hay số lượt nhấp mà website có thể nhận, cũng không nêu tác động tới Google hay Bing. Điều trang gốc nêu là cách crawler hành xử: nhận diện được, tôn trọng robots.txt và ghi link nguồn.
Nếu đối tác Web Search vi phạm robots.txt thì Cloudflare xử lý ra sao?
Trang gốc không nêu điều gì xảy ra khi đối tác vi phạm, cũng không nêu Cloudflare kiểm tra việc tuân thủ ra sao. Cloudflare chỉ ghi các đối tác đã nhận đáp ứng chuẩn crawl, gồm đạt yêu cầu Verified bots, tôn trọng robots.txt và kèm link tới nội dung đã crawl.
Vì sao agent AI hay nhận lỗi 404 khi tự tải trang web?
Agent AI thường đoán URL của trang rồi gọi curl để tải. Đoán sai URL thì agent nhận lỗi 404 Not Found. Cloudflare nêu vấn đề đó khi công bố Web Search API, để agent tìm kiếm web qua AI Gateway và đưa kết quả thẳng vào ngữ cảnh của mô hình.
Ba đối tác web search đầu tiên của Cloudflare Web Search API là ai?
Ba đối tác đầu tiên là Ceramic.ai, Exa và Linkup. Cloudflare công bố hợp tác với các nhà cung cấp web search và mở đầu với ba đối tác đó. Cloudflare ghi các đối tác đã nhận đáp ứng chuẩn crawl của hãng, gồm tự nhận diện crawler, tôn trọng robots.txt và ghi nguồn kết quả.
Direct REST API và Workers binding của Web Search API khác nhau thế nào?
Direct REST API là endpoint chuẩn: bạn truyền token xác thực AI Gateway, chọn nhà cung cấp trong payload và nhận về kết quả web search. Workers binding dành cho ứng dụng chạy trên Cloudflare Workers. Ví dụ trên trang gốc dùng nhà cung cấp exa với limit là 5. Cả hai cách đều đi qua AI Gateway.
Yêu cầu Web Search API được ghi log và tính phí qua đâu?
Yêu cầu Web Search API hiện trong log observability của AI Gateway và trừ vào số dư credit AI Gateway. Cloudflare cũng hỗ trợ Bring-Your-Own-Key với các nhà cung cấp web search. Cloudflare sẽ chỉ ra đối tác nào hỗ trợ Zero Data Retention, để người dùng biết dữ liệu của họ không bị lưu lại.
Server Tools trong AI Gateway là gì và khi nào ra mắt?
Server Tools là các tool gắn sẵn trong AI Gateway mà Cloudflare đang xây, và web search sẽ là một trong các tool đầu tiên. Trang gốc không nêu ngày ra. Trước khi Server Tools có mặt, trang gốc đưa đoạn mã Worker để lập trình viên tự gọi web search như một tool.
Cloudflare Web Search API là gì?
Cloudflare Web Search API là dịch vụ tìm kiếm web Cloudflare công bố ngày 02/10/2026, giúp agent AI lấy thông tin web mới qua AI Gateway. Kết quả tìm kiếm được đưa thẳng vào ngữ cảnh của mô hình. Ba đối tác đầu tiên của Cloudflare Web Search API là Ceramic.ai, Exa và Linkup.
Có nên chặn crawler của Web Search API bằng robots.txt không?
Chặn hay cho phép crawler của Web Search API tùy mục tiêu của website. Cloudflare ghi crawler đối tác phải tôn trọng robots.txt, nên chủ website tự quyết được. Cách làm của Danh Nolan là đọc lại robots.txt, xem log máy chủ để biết crawler nào đang ghé, rồi quyết định cho phép hay chặn từng crawler.
Web Search API khác việc agent AI tự gọi curl thế nào?
Web Search API cho agent AI tìm kiếm web qua AI Gateway và đưa kết quả thẳng vào ngữ cảnh của mô hình. Khi agent tự đoán URL của trang rồi gọi curl để tải, đoán sai thì nhận lỗi 404 Not Found. Web Search API còn có observability của AI Gateway.
Nên bắt đầu dùng Cloudflare Web Search API từ đâu?
Lập trình viên nên bắt đầu Cloudflare Web Search API từ tài liệu web search cho lập trình viên và AI Playground để thử với tài khoản AI Gateway. Sau đó chọn cách gọi: một REST endpoint chuẩn, hoặc Workers binding cho ứng dụng chạy trên Cloudflare Workers. Yêu cầu trừ vào số dư credit AI Gateway.
Làm tiếp trên chính website của bạn
Chọn theo điều bạn đang cần: người soi website, nền tảng để tự làm, hay người kèm tới nơi.
Phân tích SEO và GEO Online
Tìm đúng chỗ website đang nghẽn, bàn giao thứ tự sửa và bản đồ nội dung theo DLN™. Học tiếp Mentor thì phí này được trừ vào học phí.
Xem phạm vi phân tíchKhóa học SEO cơ bản Online
8 buổi online về Technical và On-page, đủ nền tảng để tự rà và sửa website của bạn.
Xem lộ trình họcMentor SEO 1 kèm 1 Online
12 buổi trong 4 tuần, làm trực tiếp trên website của bạn cùng Danh Nolan.
Xem cách kèm