Dlaczego warto używać go jako Scraping API
- Jeden endpoint dla dowolnego docelowego adresu URL
- Uwierzytelnianie kluczem API, bez konieczności zarządzania przeglądarką
- Domyślnie HTML, a na życzenie Markdown lub JSON, gotowe do użycia w istniejących parserach
- Łatwa integracja z procesami ETL, monitoringiem, pozyskiwaniem danych dla AI i potokami danych
Endpoint
GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}
Uwierzytelnianie
Prześlij swój klucz API w nagłówkach:Model żądania
Szybki start
cURL
Python
JavaScript (fetch)
Zachowanie odpowiedzi
Domyślnie treścią odpowiedzi jest surowy, wyrenderowany kod HTML strony. Przyformat=markdown treść jest zwracana w formacie Markdown. Przy format=json treścią jest obiekt JSON:
200-> sukces, treść zawiera stronę w żądanym formacie400-> nieprawidłowe żądanie, na przykład brakurl; treść:{"success":false,"error":"Request failed"}401-> brak nagłówkaapikey; treść:{"message":"Missing API key in request"}
Zalecenia dotyczące ponawiania żądań
Ponawiaj żądania z wykładniczym wydłużaniem odstępów (exponential backoff) w przypadku:- błędów sieci
- kodów
408,429,500,502,503,504
Oficjalny SDK dla Node.js
Instalacja:Szybki start z SDK
Opcje konstruktora
Podstawowe metody SDK
scrape(url)-> znormalizowany obiekt odpowiedziscrapeRaw(url)-> natywny obiektResponsebuildScrapeUrl(url)-> pełny adres URL żądania
Metody pochodne po stronie SDK (na podstawie zwróconego HTML)
To nie są osobne endpointy backendu; są one tworzone w SDK na podstawie HTML zwróconego przez API. SDK wysyła tylko parametrurl, bez format, dlatego wynik może się różnić od odpowiedzi API z format=markdown lub format=json:
scrapeText(url)-> zwykły tekstscrapeMarkdown(url)-> markdownscrapeJSON(url)-> uporządkowane metadane (title,description,canonical,meta,headings,links)batchScrape(urls, { concurrency })-> pomocnik do wielu wywołań scrape
Typowane błędy
WebUnlockerErrorAuthenticationErrorRateLimitErrorAPIErrorTimeoutErrorNetworkError
401/403->AuthenticationError429->RateLimitError500+i inne statusy inne niż 2xx (na przykład400) ->APIError- przekroczenie limitu czasu/przerwanie ->
TimeoutError - błąd fetch/sieci ->
NetworkError
CLI
scrape(surowy HTML/tekst)text(tekst pochodny)markdown(markdown pochodny)json(metadane pochodne)
Typowe zastosowania scrapingu
- monitorowanie cen i katalogów
- wzbogacanie danych o leadach i katalogach
- procesy analizy rynku
- agregowanie i indeksowanie treści
- pozyskiwanie danych dla LLM i procesy ekstrakcji
Gologin Web Access CLI (ujednolicone)
Jeśli potrzebujesz bardziej rozbudowanego CLI, które łączy Web Unlocker z Cloud Browser w jednym zestawie poleceń, użyjgologin-web-access: