Por que usar como Scraping API
- Um único endpoint para qualquer URL de destino
- Autenticação por chave de API, sem necessidade de orquestrar navegadores
- HTML por padrão, ou Markdown ou JSON sob demanda, pronto para os parsers que você já usa
- Ideal para ETL, monitoramento, ingestão de dados para IA e pipelines de dados
Endpoint
GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}
Autenticação
Envie sua chave de API nos cabeçalhos:Modelo de requisição
Início rápido
cURL
Python
JavaScript (fetch)
Comportamento da resposta
Por padrão, o corpo da resposta é o HTML renderizado bruto da página. Comformat=markdown, o corpo é Markdown. Com format=json, o corpo é um objeto JSON:
200-> sucesso, o corpo contém a página no formato solicitado400-> requisição inválida, por exemplo, quandourlnão foi informada; corpo:{"success":false,"error":"Request failed"}401-> o cabeçalhoapikeyestá ausente; corpo:{"message":"Missing API key in request"}
Orientações sobre novas tentativas
Tente novamente com backoff exponencial nos seguintes casos:- erros de rede
408,429,500,502,503,504
SDK oficial para Node.js
Instalação:Início rápido do SDK
Opções do construtor
Métodos principais do SDK
scrape(url)-> objeto de resposta normalizadoscrapeRaw(url)->ResponsenativobuildScrapeUrl(url)-> URL completa da requisição
Métodos derivados no SDK (a partir do HTML retornado)
Estes não são endpoints separados no backend; eles são derivados no SDK a partir do HTML retornado pela API. O SDK envia apenas o parâmetrourl, e não format, portanto essa saída pode ser diferente da resposta de format=markdown ou format=json da própria API:
scrapeText(url)-> texto simplesscrapeMarkdown(url)-> markdownscrapeJSON(url)-> metadados estruturados (title,description,canonical,meta,headings,links)batchScrape(urls, { concurrency })-> auxiliar para várias chamadas de scrape
Erros tipados
WebUnlockerErrorAuthenticationErrorRateLimitErrorAPIErrorTimeoutErrorNetworkError
401/403->AuthenticationError429->RateLimitError500+e outros status que não sejam 2xx (por exemplo,400) ->APIError- timeout/abort ->
TimeoutError - falha de fetch/rede ->
NetworkError
CLI
scrape(HTML/texto bruto)text(texto derivado)markdown(markdown derivado)json(metadados derivados)
Casos de uso típicos de scraping
- monitoramento de preços e catálogos
- enriquecimento de leads e diretórios
- pipelines de inteligência de mercado
- agregação e indexação de conteúdo
- fluxos de ingestão e extração para LLMs
Gologin Web Access CLI (unificada)
Para uma CLI mais poderosa, que combina o Web Unlocker com o Cloud Browser em uma única interface de comandos, use ogologin-web-access: