Passer au contenu principal
Gologin Web Unlocker est une Scraping API à point de terminaison unique conçue pour les sites web riches en JavaScript. Vous envoyez une URL, vous recevez le HTML ou le texte de la page rendue, puis vous le traitez dans votre propre pipeline d’extraction.

Pourquoi l’utiliser comme Scraping API

  • Un seul point de terminaison pour n’importe quelle URL cible
  • Authentification par clé API, sans orchestration de navigateur
  • HTML par défaut, ou Markdown ou JSON sur demande, prêt pour vos parseurs existants
  • Idéal pour l’ETL, la surveillance, l’ingestion par IA et les pipelines de données

Point de terminaison

GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}

Authentification

Envoyez votre clé API dans les en-têtes :

Modèle de requête

Démarrage rapide

cURL

Python

JavaScript (fetch)

Comportement de la réponse

Par défaut, le corps de la réponse est le HTML brut rendu de la page. Avec format=markdown, le corps est en Markdown. Avec format=json, le corps est un objet JSON :
Codes de statut :
  • 200 -> succès, le corps contient la page dans le format demandé
  • 400 -> requête incorrecte, par exemple si url est absent ; corps : {"success":false,"error":"Request failed"}
  • 401 -> l’en-tête apikey est absent ; corps : {"message":"Missing API key in request"}

Recommandations pour les nouvelles tentatives

Effectuez de nouvelles tentatives avec un backoff exponentiel en cas de :
  • erreurs réseau
  • 408, 429, 500, 502, 503, 504

SDK Node.js officiel

Installation :

Démarrage rapide du SDK

Options du constructeur

Méthodes principales du SDK

  • scrape(url) -> objet de réponse normalisé
  • scrapeRaw(url) -> Response natif
  • buildScrapeUrl(url) -> URL complète de la requête

Méthodes dérivées côté SDK (à partir du HTML renvoyé)

Il ne s’agit pas de points de terminaison backend distincts : elles sont dérivées du HTML de l’API au sein du SDK. Le SDK envoie uniquement le paramètre url, et non format. Ce résultat peut donc différer de la réponse format=markdown ou format=json de l’API elle-même :
  • scrapeText(url) -> texte brut
  • scrapeMarkdown(url) -> markdown
  • scrapeJSON(url) -> métadonnées structurées (title, description, canonical, meta, headings, links)
  • batchScrape(urls, { concurrency }) -> utilitaire pour effectuer plusieurs appels de scraping

Erreurs typées

  • WebUnlockerError
  • AuthenticationError
  • RateLimitError
  • APIError
  • TimeoutError
  • NetworkError
Correspondances :
  • 401 / 403 -> AuthenticationError
  • 429 -> RateLimitError
  • 500+ et les autres statuts non 2xx (par exemple 400) -> APIError
  • délai dépassé ou abandon -> TimeoutError
  • échec de fetch ou du réseau -> NetworkError

CLI

Commandes :
  • scrape (HTML/texte brut)
  • text (texte dérivé)
  • markdown (markdown dérivé)
  • json (métadonnées dérivées)
Exemples :

Cas d’usage courants du scraping

  • surveillance des prix et des catalogues
  • enrichissement de leads et d’annuaires
  • pipelines de veille économique
  • agrégation et indexation de contenu
  • workflows d’ingestion et d’extraction pour les LLM

Gologin Web Access CLI (unifiée)

Pour une CLI plus puissante qui combine Web Unlocker et Cloud Browser dans un seul ensemble de commandes, utilisez gologin-web-access :
Consultez Gologin Web Access CLI pour la référence complète.

Documentation source