Saltar para o conteúdo principal
O Gologin Web Unlocker é uma Scraping API de endpoint único para sites com muito JavaScript. Você envia uma URL, recebe o HTML/texto renderizado da página e o processa no seu próprio pipeline de extração.

Por que usar como Scraping API

  • Um único endpoint para qualquer URL de destino
  • Autenticação por chave de API, sem necessidade de orquestrar navegadores
  • HTML por padrão, ou Markdown ou JSON sob demanda, pronto para os parsers que você já usa
  • Ideal para ETL, monitoramento, ingestão de dados para IA e pipelines de dados

Endpoint

GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}

Autenticação

Envie sua chave de API nos cabeçalhos:

Modelo de requisição

Início rápido

cURL

Python

JavaScript (fetch)

Comportamento da resposta

Por padrão, o corpo da resposta é o HTML renderizado bruto da página. Com format=markdown, o corpo é Markdown. Com format=json, o corpo é um objeto JSON:
Códigos de status:
  • 200 -> sucesso, o corpo contém a página no formato solicitado
  • 400 -> requisição inválida, por exemplo, quando url não foi informada; corpo: {"success":false,"error":"Request failed"}
  • 401 -> o cabeçalho apikey está ausente; corpo: {"message":"Missing API key in request"}

Orientações sobre novas tentativas

Tente novamente com backoff exponencial nos seguintes casos:
  • erros de rede
  • 408, 429, 500, 502, 503, 504

SDK oficial para Node.js

Instalação:

Início rápido do SDK

Opções do construtor

Métodos principais do SDK

  • scrape(url) -> objeto de resposta normalizado
  • scrapeRaw(url) -> Response nativo
  • buildScrapeUrl(url) -> URL completa da requisição

Métodos derivados no SDK (a partir do HTML retornado)

Estes não são endpoints separados no backend; eles são derivados no SDK a partir do HTML retornado pela API. O SDK envia apenas o parâmetro url, e não format, portanto essa saída pode ser diferente da resposta de format=markdown ou format=json da própria API:
  • scrapeText(url) -> texto simples
  • scrapeMarkdown(url) -> markdown
  • scrapeJSON(url) -> metadados estruturados (title, description, canonical, meta, headings, links)
  • batchScrape(urls, { concurrency }) -> auxiliar para várias chamadas de scrape

Erros tipados

  • WebUnlockerError
  • AuthenticationError
  • RateLimitError
  • APIError
  • TimeoutError
  • NetworkError
Mapeamento:
  • 401 / 403 -> AuthenticationError
  • 429 -> RateLimitError
  • 500+ e outros status que não sejam 2xx (por exemplo, 400) -> APIError
  • timeout/abort -> TimeoutError
  • falha de fetch/rede -> NetworkError

CLI

Comandos:
  • scrape (HTML/texto bruto)
  • text (texto derivado)
  • markdown (markdown derivado)
  • json (metadados derivados)
Exemplos:

Casos de uso típicos de scraping

  • monitoramento de preços e catálogos
  • enriquecimento de leads e diretórios
  • pipelines de inteligência de mercado
  • agregação e indexação de conteúdo
  • fluxos de ingestão e extração para LLMs

Gologin Web Access CLI (unificada)

Para uma CLI mais poderosa, que combina o Web Unlocker com o Cloud Browser em uma única interface de comandos, use o gologin-web-access:
Consulte a CLI Gologin Web Access para ver a referência completa.

Documentação relacionada