Chuyển đến nội dung chính
Gologin Web Unlocker là một scraping API chỉ với một endpoint dành cho các trang web nặng JavaScript. Bạn gửi một URL, nhận về HTML/văn bản của trang đã được render, rồi xử lý trong quy trình trích xuất dữ liệu của riêng bạn.

Vì sao nên dùng như một Scraping API

  • Một endpoint duy nhất cho mọi URL đích
  • Xác thực bằng API key, không cần điều phối trình duyệt
  • Mặc định trả về HTML, hoặc Markdown hay JSON theo yêu cầu, sẵn sàng cho các trình phân tích cú pháp hiện có
  • Dễ tích hợp vào ETL, giám sát, nạp dữ liệu cho AI và các pipeline dữ liệu

Endpoint

GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}

Xác thực

Gửi API key của bạn trong header:

Mô hình yêu cầu

Bắt đầu nhanh

cURL

Python

JavaScript (fetch)

Cách phản hồi hoạt động

Theo mặc định, nội dung phản hồi là HTML thô đã được render của trang. Với format=markdown, nội dung là Markdown. Với format=json, nội dung là một đối tượng JSON:
Mã trạng thái:
  • 200 -> thành công, nội dung chứa trang ở định dạng đã yêu cầu
  • 400 -> yêu cầu không hợp lệ, ví dụ thiếu url; nội dung: {"success":false,"error":"Request failed"}
  • 401 -> thiếu header apikey; nội dung: {"message":"Missing API key in request"}

Hướng dẫn thử lại

Hãy thử lại với exponential backoff (thời gian chờ tăng dần theo cấp số nhân) khi gặp:
  • lỗi mạng
  • 408, 429, 500, 502, 503, 504

SDK Node.js chính thức

Cài đặt:

Bắt đầu nhanh với SDK

Tùy chọn của constructor

Các phương thức cốt lõi của SDK

  • scrape(url) -> đối tượng phản hồi đã được chuẩn hóa
  • scrapeRaw(url) -> Response gốc
  • buildScrapeUrl(url) -> URL yêu cầu đầy đủ

Các phương thức phái sinh phía SDK (từ HTML trả về)

Đây không phải là các endpoint backend riêng biệt; chúng được SDK tạo ra từ HTML mà API trả về. SDK chỉ gửi tham số url, không gửi format, nên kết quả này có thể khác với phản hồi format=markdown hoặc format=json của chính API:
  • scrapeText(url) -> văn bản thuần
  • scrapeMarkdown(url) -> markdown
  • scrapeJSON(url) -> metadata có cấu trúc (title, description, canonical, meta, headings, links)
  • batchScrape(urls, { concurrency }) -> hàm hỗ trợ cho nhiều lệnh gọi scrape

Lỗi có kiểu

  • WebUnlockerError
  • AuthenticationError
  • RateLimitError
  • APIError
  • TimeoutError
  • NetworkError
Ánh xạ:
  • 401 / 403 -> AuthenticationError
  • 429 -> RateLimitError
  • 500+ và các mã trạng thái khác không thuộc nhóm 2xx (ví dụ 400) -> APIError
  • hết thời gian chờ/bị hủy -> TimeoutError
  • lỗi fetch/mạng -> NetworkError

CLI

Các lệnh:
  • scrape (HTML/văn bản thô)
  • text (văn bản phái sinh)
  • markdown (markdown phái sinh)
  • json (metadata phái sinh)
Ví dụ:

Các trường hợp sử dụng scraping điển hình

  • giám sát giá và danh mục sản phẩm
  • làm giàu dữ liệu khách hàng tiềm năng và danh bạ
  • các pipeline thu thập thông tin thị trường
  • tổng hợp và lập chỉ mục nội dung
  • quy trình nạp dữ liệu và trích xuất cho LLM

Gologin Web Access CLI (hợp nhất)

Nếu bạn cần một CLI mạnh hơn, kết hợp Web Unlocker với Cloud Browser trong cùng một bộ lệnh, hãy dùng gologin-web-access:
Xem Gologin Web Access CLI để biết đầy đủ tài liệu tham khảo.

Tài liệu nguồn