Przejdź do głównej treści
Gologin Web Unlocker to scraping API z jednym endpointem przeznaczone dla stron intensywnie korzystających z JavaScriptu. Wysyłasz adres URL, otrzymujesz wyrenderowany kod HTML lub tekst strony i przetwarzasz go we własnym procesie ekstrakcji danych.

Dlaczego warto używać go jako Scraping API

  • Jeden endpoint dla dowolnego docelowego adresu URL
  • Uwierzytelnianie kluczem API, bez konieczności zarządzania przeglądarką
  • Domyślnie HTML, a na życzenie Markdown lub JSON, gotowe do użycia w istniejących parserach
  • Łatwa integracja z procesami ETL, monitoringiem, pozyskiwaniem danych dla AI i potokami danych

Endpoint

GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}

Uwierzytelnianie

Prześlij swój klucz API w nagłówkach:

Model żądania

Szybki start

cURL

Python

JavaScript (fetch)

Zachowanie odpowiedzi

Domyślnie treścią odpowiedzi jest surowy, wyrenderowany kod HTML strony. Przy format=markdown treść jest zwracana w formacie Markdown. Przy format=json treścią jest obiekt JSON:
Kody statusu:
  • 200 -> sukces, treść zawiera stronę w żądanym formacie
  • 400 -> nieprawidłowe żądanie, na przykład brak url; treść: {"success":false,"error":"Request failed"}
  • 401 -> brak nagłówka apikey; treść: {"message":"Missing API key in request"}

Zalecenia dotyczące ponawiania żądań

Ponawiaj żądania z wykładniczym wydłużaniem odstępów (exponential backoff) w przypadku:
  • błędów sieci
  • kodów 408, 429, 500, 502, 503, 504

Oficjalny SDK dla Node.js

Instalacja:

Szybki start z SDK

Opcje konstruktora

Podstawowe metody SDK

  • scrape(url) -> znormalizowany obiekt odpowiedzi
  • scrapeRaw(url) -> natywny obiekt Response
  • buildScrapeUrl(url) -> pełny adres URL żądania

Metody pochodne po stronie SDK (na podstawie zwróconego HTML)

To nie są osobne endpointy backendu; są one tworzone w SDK na podstawie HTML zwróconego przez API. SDK wysyła tylko parametr url, bez format, dlatego wynik może się różnić od odpowiedzi API z format=markdown lub format=json:
  • scrapeText(url) -> zwykły tekst
  • scrapeMarkdown(url) -> markdown
  • scrapeJSON(url) -> uporządkowane metadane (title, description, canonical, meta, headings, links)
  • batchScrape(urls, { concurrency }) -> pomocnik do wielu wywołań scrape

Typowane błędy

  • WebUnlockerError
  • AuthenticationError
  • RateLimitError
  • APIError
  • TimeoutError
  • NetworkError
Mapowanie:
  • 401 / 403 -> AuthenticationError
  • 429 -> RateLimitError
  • 500+ i inne statusy inne niż 2xx (na przykład 400) -> APIError
  • przekroczenie limitu czasu/przerwanie -> TimeoutError
  • błąd fetch/sieci -> NetworkError

CLI

Polecenia:
  • scrape (surowy HTML/tekst)
  • text (tekst pochodny)
  • markdown (markdown pochodny)
  • json (metadane pochodne)
Przykłady:

Typowe zastosowania scrapingu

  • monitorowanie cen i katalogów
  • wzbogacanie danych o leadach i katalogach
  • procesy analizy rynku
  • agregowanie i indeksowanie treści
  • pozyskiwanie danych dla LLM i procesy ekstrakcji

Gologin Web Access CLI (ujednolicone)

Jeśli potrzebujesz bardziej rozbudowanego CLI, które łączy Web Unlocker z Cloud Browser w jednym zestawie poleceń, użyj gologin-web-access:
Pełny opis znajdziesz w Gologin Web Access CLI.

Dokumentacja źródłowa