Cas d'usage de Web Unlocker

Web Unlocker est une Scraping API : vous envoyez une URL, et elle renvoie le HTML entièrement rendu. Cette page présente les façons les plus courantes de l’utiliser.

Scraper une page vous-même

Le cas d’usage le plus simple : vous avez besoin du contenu d’une page web qui bloque les requêtes HTTP classiques.

Python

import requests

response = requests.get(
    "https://parsing.webunlocker.gologin.com/v1/scrape",
    params={"url": "https://example.com/product/123"},
    headers={"apikey": "YOUR_API_KEY"}
)

html = response.text
print(html)

JavaScript

const html = await fetch(
  "https://parsing.webunlocker.gologin.com/v1/scrape?url=" +
    encodeURIComponent("https://example.com/product/123"),
  { headers: { apikey: "YOUR_API_KEY" } }
).then((r) => r.text());

console.log(html);

Pas de navigateur à lancer, pas de proxy à configurer, pas de Cloudflare à contourner. Un seul appel, et vous obtenez la page. Idéal pour :

Vérifier les prix sur le site d’un concurrent
Récupérer des offres d’emploi, des avis ou des données produit
Surveiller les modifications de pages
Des scripts de collecte de données ponctuels

Alimenter une IA avec du contenu

Web Unlocker renvoie du HTML brut. Transmettez-le à un LLM pour extraire des données structurées, résumer du contenu ou répondre à des questions sur la page, sans avoir besoin d’écrire de logique d’analyse.

Python + OpenAI

import requests
from openai import OpenAI

html = requests.get(
    "https://parsing.webunlocker.gologin.com/v1/scrape",
    params={"url": "https://news.ycombinator.com"},
    headers={"apikey": "YOUR_API_KEY"}
).text

client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {
            "role": "user",
            "content": f"Extract the top 5 story titles and their URLs from this HTML:\n\n{html[:8000]}"
        }
    ]
)

print(response.choices[0].message.content)

JavaScript + Anthropic

import Anthropic from "@anthropic-ai/sdk";

const html = await fetch(
  "https://parsing.webunlocker.gologin.com/v1/scrape?url=" +
    encodeURIComponent("https://news.ycombinator.com"),
  { headers: { apikey: "YOUR_API_KEY" } }
).then((r) => r.text());

const client = new Anthropic();
const message = await client.messages.create({
  model: "claude-opus-4-5",
  max_tokens: 1024,
  messages: [
    {
      role: "user",
      content: `Extract the top 5 story titles and their URLs from this HTML:\n\n${html.slice(0, 8000)}`,
    },
  ],
});

console.log(message.content[0].text);

Idéal pour :

Extraire des données structurées (prix, noms, dates) sans écrire de parseurs
Résumer des articles ou des fiches produit
Comparer plusieurs pages et en tirer des conclusions
Créer des outils de recherche ou de veille basés sur l’IA

L’utiliser dans un agent IA

Donnez à votre agent IA un outil scrape reposant sur Web Unlocker. L’agent peut alors naviguer sur le web de manière autonome : récupérer des pages, lire leur contenu et agir, sans que vous ayez à écrire la moindre logique de navigation.

import requests
import anthropic

def scrape(url: str) -> str:
    """Fetch a URL and return its rendered HTML."""
    return requests.get(
        "https://parsing.webunlocker.gologin.com/v1/scrape",
        params={"url": url},
        headers={"apikey": "YOUR_API_KEY"}
    ).text

tools = [
    {
        "name": "scrape",
        "description": "Fetch the rendered HTML of any URL, including JavaScript-heavy and protected sites.",
        "input_schema": {
            "type": "object",
            "properties": {
                "url": {"type": "string", "description": "The URL to scrape"}
            },
            "required": ["url"]
        }
    }
]

client = anthropic.Anthropic()
messages = [
    {"role": "user", "content": "What is the current price of the iPhone 16 Pro on apple.com?"}
]

while True:
    response = client.messages.create(
        model="claude-opus-4-5",
        max_tokens=1024,
        tools=tools,
        messages=messages
    )

    if response.stop_reason == "end_turn":
        print(response.content[0].text)
        break

    tool_results = []
    for block in response.content:
        if block.type == "tool_use" and block.name == "scrape":
            html = scrape(block.input["url"])
            tool_results.append({
                "type": "tool_result",
                "tool_use_id": block.id,
                "content": html[:10000]
            })

    messages.append({"role": "assistant", "content": response.content})
    messages.append({"role": "user", "content": tool_results})

L’agent décide quand scraper et quelle URL récupérer. Web Unlocker se charge de la récupération proprement dite. Idéal pour :

Les agents de recherche qui naviguent sur le web de manière autonome
Les bots de comparaison de prix ou de recherche de bonnes affaires
Les pipelines de veille concurrentielle
Tout agent qui a besoin de données web en temps réel

Scraper plusieurs pages à la fois

Exécutez des requêtes simultanées pour collecter les données de plusieurs URL en parallèle.

import requests
from concurrent.futures import ThreadPoolExecutor

API_URL = "https://parsing.webunlocker.gologin.com/v1/scrape"
API_KEY = "YOUR_API_KEY"

urls = [
    "https://example.com/page/1",
    "https://example.com/page/2",
    "https://example.com/page/3",
]

def scrape(url):
    response = requests.get(
        API_URL,
        params={"url": url},
        headers={"apikey": API_KEY}
    )
    return url, response.text

with ThreadPoolExecutor(max_workers=5) as executor:
    results = list(executor.map(scrape, urls))

for url, html in results:
    print(f"{url}: {len(html)} chars")

Idéal pour :

Scraper des catalogues de produits ou des pages de listes entiers
Collecter des données en masse pour constituer des jeux de données d’entraînement
Surveiller de nombreuses pages simultanément

Résumé

Cas d’usage	Ce que vous faites	Ce que vous obtenez
Scraper une seule page	GET avec le paramètre URL	HTML rendu
Alimenter un LLM	Scraper → transmettre au modèle	Données extraites ou résumé
Outil pour agent IA	L’agent l’appelle à la demande	Contenu web en temps réel
Scraping en masse	Requêtes simultanées	HTML pour chaque URL

L’utiliser depuis la CLI

Plus besoin d’écrire du code : utilisez la CLI Gologin Web Access pour les workflows de scraping courants :

npm install -g gologin-web-access
export GOLOGIN_WEB_UNLOCKER_API_KEY="wu_..."

# batch scrape multiple pages
gologin-web-access batch-scrape \
  https://example.com/page/1 \
  https://example.com/page/2 \
  https://example.com/page/3 \
  --format text --only-main-content --summary

# crawl a site
gologin-web-access crawl https://docs.example.com --format markdown --limit 50 --max-depth 2

# monitor page changes
gologin-web-access change-track https://example.com/pricing --format markdown

# extract structured data with a schema
gologin-web-access extract https://example.com/product/123 --schema ./product-schema.json

# search the web
gologin-web-access search "best antidetect browser 2026" --limit 10

Consultez Web Access CLI pour la référence complète des commandes.

Résumé

Cas d’usage	Ce que vous faites	Ce que vous obtenez
Scraper une seule page	GET avec le paramètre URL	HTML rendu
Alimenter un LLM	Scraper → transmettre au modèle	Données extraites ou résumé
Outil pour agent IA	L’agent l’appelle à la demande	Contenu web en temps réel
Scraping en masse	Requêtes simultanées	HTML pour chaque URL
Workflows CLI	Commandes `gologin-web-access`	Texte, markdown, JSON, résultats par lot

Consultez le Démarrage rapide pour effectuer votre première requête.

Introduction

Scraping API et Web Unlocker

SDK Node.js

SDK Python

Limites

Scraper une page vous-même

Python

JavaScript

Alimenter une IA avec du contenu

Python + OpenAI

JavaScript + Anthropic

L’utiliser dans un agent IA

Scraper plusieurs pages à la fois

Résumé

L’utiliser depuis la CLI

Résumé

​Scraper une page vous-même

​Python

​JavaScript

​Alimenter une IA avec du contenu

​Python + OpenAI

​JavaScript + Anthropic

​L’utiliser dans un agent IA

​Scraper plusieurs pages à la fois

​Résumé

​L’utiliser depuis la CLI

​Résumé

Scraper une page vous-même

Python

JavaScript

Alimenter une IA avec du contenu

Python + OpenAI

JavaScript + Anthropic

L’utiliser dans un agent IA

Scraper plusieurs pages à la fois

Résumé

L’utiliser depuis la CLI

Résumé