Pourquoi l’utiliser comme Scraping API
- Un seul point de terminaison pour n’importe quelle URL cible
- Authentification par clé API, sans orchestration de navigateur
- HTML par défaut, ou Markdown ou JSON sur demande, prêt pour vos parseurs existants
- Idéal pour l’ETL, la surveillance, l’ingestion par IA et les pipelines de données
Point de terminaison
GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}
Authentification
Envoyez votre clé API dans les en-têtes :Modèle de requête
Démarrage rapide
cURL
Python
JavaScript (fetch)
Comportement de la réponse
Par défaut, le corps de la réponse est le HTML brut rendu de la page. Avecformat=markdown, le corps est en Markdown. Avec format=json, le corps est un objet JSON :
200-> succès, le corps contient la page dans le format demandé400-> requête incorrecte, par exemple siurlest absent ; corps :{"success":false,"error":"Request failed"}401-> l’en-têteapikeyest absent ; corps :{"message":"Missing API key in request"}
Recommandations pour les nouvelles tentatives
Effectuez de nouvelles tentatives avec un backoff exponentiel en cas de :- erreurs réseau
408,429,500,502,503,504
SDK Node.js officiel
Installation :Démarrage rapide du SDK
Options du constructeur
Méthodes principales du SDK
scrape(url)-> objet de réponse normaliséscrapeRaw(url)->ResponsenatifbuildScrapeUrl(url)-> URL complète de la requête
Méthodes dérivées côté SDK (à partir du HTML renvoyé)
Il ne s’agit pas de points de terminaison backend distincts : elles sont dérivées du HTML de l’API au sein du SDK. Le SDK envoie uniquement le paramètreurl, et non format. Ce résultat peut donc différer de la réponse format=markdown ou format=json de l’API elle-même :
scrapeText(url)-> texte brutscrapeMarkdown(url)-> markdownscrapeJSON(url)-> métadonnées structurées (title,description,canonical,meta,headings,links)batchScrape(urls, { concurrency })-> utilitaire pour effectuer plusieurs appels de scraping
Erreurs typées
WebUnlockerErrorAuthenticationErrorRateLimitErrorAPIErrorTimeoutErrorNetworkError
401/403->AuthenticationError429->RateLimitError500+et les autres statuts non 2xx (par exemple400) ->APIError- délai dépassé ou abandon ->
TimeoutError - échec de fetch ou du réseau ->
NetworkError
CLI
scrape(HTML/texte brut)text(texte dérivé)markdown(markdown dérivé)json(métadonnées dérivées)
Cas d’usage courants du scraping
- surveillance des prix et des catalogues
- enrichissement de leads et d’annuaires
- pipelines de veille économique
- agrégation et indexation de contenu
- workflows d’ingestion et d’extraction pour les LLM
Gologin Web Access CLI (unifiée)
Pour une CLI plus puissante qui combine Web Unlocker et Cloud Browser dans un seul ensemble de commandes, utilisezgologin-web-access :