Vì sao nên dùng như một Scraping API
- Một endpoint duy nhất cho mọi URL đích
- Xác thực bằng API key, không cần điều phối trình duyệt
- Mặc định trả về HTML, hoặc Markdown hay JSON theo yêu cầu, sẵn sàng cho các trình phân tích cú pháp hiện có
- Dễ tích hợp vào ETL, giám sát, nạp dữ liệu cho AI và các pipeline dữ liệu
Endpoint
GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}
Xác thực
Gửi API key của bạn trong header:Mô hình yêu cầu
Bắt đầu nhanh
cURL
Python
JavaScript (fetch)
Cách phản hồi hoạt động
Theo mặc định, nội dung phản hồi là HTML thô đã được render của trang. Vớiformat=markdown, nội dung là Markdown. Với format=json, nội dung là một đối tượng JSON:
200-> thành công, nội dung chứa trang ở định dạng đã yêu cầu400-> yêu cầu không hợp lệ, ví dụ thiếuurl; nội dung:{"success":false,"error":"Request failed"}401-> thiếu headerapikey; nội dung:{"message":"Missing API key in request"}
Hướng dẫn thử lại
Hãy thử lại với exponential backoff (thời gian chờ tăng dần theo cấp số nhân) khi gặp:- lỗi mạng
408,429,500,502,503,504
SDK Node.js chính thức
Cài đặt:Bắt đầu nhanh với SDK
Tùy chọn của constructor
Các phương thức cốt lõi của SDK
scrape(url)-> đối tượng phản hồi đã được chuẩn hóascrapeRaw(url)->ResponsegốcbuildScrapeUrl(url)-> URL yêu cầu đầy đủ
Các phương thức phái sinh phía SDK (từ HTML trả về)
Đây không phải là các endpoint backend riêng biệt; chúng được SDK tạo ra từ HTML mà API trả về. SDK chỉ gửi tham sốurl, không gửi format, nên kết quả này có thể khác với phản hồi format=markdown hoặc format=json của chính API:
scrapeText(url)-> văn bản thuầnscrapeMarkdown(url)-> markdownscrapeJSON(url)-> metadata có cấu trúc (title,description,canonical,meta,headings,links)batchScrape(urls, { concurrency })-> hàm hỗ trợ cho nhiều lệnh gọi scrape
Lỗi có kiểu
WebUnlockerErrorAuthenticationErrorRateLimitErrorAPIErrorTimeoutErrorNetworkError
401/403->AuthenticationError429->RateLimitError500+và các mã trạng thái khác không thuộc nhóm 2xx (ví dụ400) ->APIError- hết thời gian chờ/bị hủy ->
TimeoutError - lỗi fetch/mạng ->
NetworkError
CLI
scrape(HTML/văn bản thô)text(văn bản phái sinh)markdown(markdown phái sinh)json(metadata phái sinh)
Các trường hợp sử dụng scraping điển hình
- giám sát giá và danh mục sản phẩm
- làm giàu dữ liệu khách hàng tiềm năng và danh bạ
- các pipeline thu thập thông tin thị trường
- tổng hợp và lập chỉ mục nội dung
- quy trình nạp dữ liệu và trích xuất cho LLM
Gologin Web Access CLI (hợp nhất)
Nếu bạn cần một CLI mạnh hơn, kết hợp Web Unlocker với Cloud Browser trong cùng một bộ lệnh, hãy dùnggologin-web-access: