Giải quyết vấn đề gì
Các trang web hiện đại rất khó thu thập dữ liệu. Một lệnh gọicurl hoặc requests thông thường thường trả về phản hồi trống hoặc HTML bị lỗi vì nội dung được tải bằng JavaScript. Web Unlocker xử lý các việc sau:
- Hiển thị JavaScript — trang được tải trong một trình duyệt thật và thực thi đầy đủ trước khi nội dung được ghi lại
- Xoay IP thông minh — yêu cầu được chuyển qua các IP dân cư với vân tay trình duyệt chân thực
- Chọn theo mức giá — chuyển yêu cầu qua nhóm proxy phù hợp với trang web đích
Bạn nhận lại gì
Một yêu cầu thành công trả về trang ở một định dạng. Bạn chọn định dạng bằng tham số truy vấnformat:
Giá
Web Unlocker áp dụng tính phí theo kết quả thành công — bạn chỉ bị tính phí khi yêu cầu thành công. Các lần thử thất bại là miễn phí. Giá giảm dần theo khối lượng:
Để nhận mức giá tùy chỉnh theo khối lượng, hãy liên hệ webunlocker@gologin.com.
Web Unlocker so với proxy tự quản lý
Tự vận hành hạ tầng proxy vừa tốn kém vừa dễ lỗi. Web Unlocker xử lý mọi thứ dưới dạng dịch vụ được quản lý:Các trường hợp sử dụng phổ biến
- Theo dõi giá — theo dõi giá trên các trang thương mại điện tử
- Nghiên cứu thị trường — thu thập dữ liệu sản phẩm, đánh giá hoặc tin tuyển dụng ở quy mô lớn
- Tổng hợp nội dung — xây dựng nguồn tin hoặc nguồn dữ liệu từ các trang không có API
- Pipeline AI — đưa HTML đã hiển thị vào LLM để trích xuất hoặc tóm tắt
Cách hoạt động
Web Unlocker chạy một trình duyệt Chromium thật trên đám mây cho mỗi tác vụ. Khi bạn gửi một URL:- Một trình duyệt được khởi chạy với IP dân cư và vân tay trình duyệt chân thực
- Trang được truy cập, JavaScript được thực thi và nội dung động được tải
- HTML đã hiển thị được trả về, hoặc Markdown hay JSON nếu bạn yêu cầu bằng
format
Cách sử dụng
Gửi một yêu cầu GET với URL đích làm tham số truy vấn. Phản hồi là HTML đã được hiển thị đầy đủ.format=markdown hoặc format=json vào truy vấn.
Xem Hướng dẫn nhanh để có ví dụ bằng Python và JavaScript cũng như mã lỗi, hoặc Các trường hợp sử dụng để biết các mẫu tích hợp phổ biến.
CLI và SDK
Ngoài API HTTP thuần, Gologin cung cấp các công cụ cấp cao hơn để làm việc với Web Unlocker:- Web Unlocker SDK và CLI — SDK TypeScript tối giản (
gologin-webunlocker) với các phương thức có kiểu dữ liệu và một CLI để thu thập dữ liệu nhanh - Gologin Web Access CLI — CLI hợp nhất kết hợp Web Unlocker với Cloud Browser, bổ sung thu thập hàng loạt, crawl, tìm kiếm, theo dõi thay đổi và trích xuất dữ liệu có cấu trúc
- AI Skills — các skill cắm là chạy dành cho agent Claude Code