> ## Documentation Index
> Fetch the complete documentation index at: https://gologin.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Utiliser Web Unlocker avec des agents IA

> Comment utiliser Gologin Web Unlocker comme outil de scraping pour les agents IA et les pipelines LLM

Gologin Web Unlocker est une API de scraping qui renvoie le HTML entièrement rendu de n'importe quelle URL. Pour les agents IA, cela signifie un accès web fiable sans orchestration de navigateur : un seul appel HTTP par page.

> [!TIP]
>
> **Vous ne voulez pas écrire de code ?** Utilisez la [Web Access CLI](https://gologin.com/docs/fr/cli-tools/web-access.md) ou le [Scraping Skill](https://gologin.com/docs/fr/api-reference/ai-integrations/ai-skills.md) pour doter votre agent de capacités de scraping prêtes à l'emploi.

***

## Transmettre le contenu d'une page à un LLM

Scrapez une page et transmettez le HTML à un modèle pour l'extraction, la synthèse ou l'analyse, sans aucune logique de parsing.

### Python + Claude

```python theme={null}
import requests
import anthropic

html = requests.get(
    "https://parsing.webunlocker.gologin.com/v1/scrape",
    params={"url": "https://news.ycombinator.com"},
    headers={"apikey": "YOUR_API_KEY"}
).text

client = anthropic.Anthropic()
message = client.messages.create(
    model="claude-sonnet-4-5-20250514",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": f"Extract the top 5 story titles and URLs from this HTML:\n\n{html[:8000]}"
        }
    ]
)

print(message.content[0].text)
```

### JavaScript + Claude

```javascript theme={null}
import Anthropic from "@anthropic-ai/sdk";

const html = await fetch(
  "https://parsing.webunlocker.gologin.com/v1/scrape?url=" +
    encodeURIComponent("https://news.ycombinator.com"),
  { headers: { apikey: "YOUR_API_KEY" } }
).then((r) => r.text());

const client = new Anthropic();
const message = await client.messages.create({
  model: "claude-sonnet-4-5-20250514",
  max_tokens: 1024,
  messages: [
    {
      role: "user",
      content: `Extract the top 5 story titles and URLs from this HTML:\n\n${html.slice(0, 8000)}`,
    },
  ],
});

console.log(message.content[0].text);
```

***

## Donner un outil de scraping à votre agent

Définissez un outil `scrape` reposant sur Web Unlocker. L'agent décide quand récupérer une page et quelle URL scraper.

```python theme={null}
import requests
import anthropic

def scrape(url: str) -> str:
    """Fetch a URL and return its rendered HTML."""
    return requests.get(
        "https://parsing.webunlocker.gologin.com/v1/scrape",
        params={"url": url},
        headers={"apikey": "YOUR_API_KEY"}
    ).text

tools = [
    {
        "name": "scrape",
        "description": "Fetch the rendered HTML of any URL, including JavaScript-heavy and protected sites.",
        "input_schema": {
            "type": "object",
            "properties": {
                "url": {"type": "string", "description": "The URL to scrape"}
            },
            "required": ["url"]
        }
    }
]

client = anthropic.Anthropic()
messages = [
    {"role": "user", "content": "What is the current price of the iPhone 16 Pro on apple.com?"}
]

while True:
    response = client.messages.create(
        model="claude-sonnet-4-5-20250514",
        max_tokens=1024,
        tools=tools,
        messages=messages
    )

    if response.stop_reason == "end_turn":
        print(response.content[0].text)
        break

    tool_results = []
    for block in response.content:
        if block.type == "tool_use" and block.name == "scrape":
            html = scrape(block.input["url"])
            tool_results.append({
                "type": "tool_result",
                "tool_use_id": block.id,
                "content": html[:10000]
            })

    messages.append({"role": "assistant", "content": response.content})
    messages.append({"role": "user", "content": tool_results})
```

L'agent décide quand scraper et quelle URL récupérer. Web Unlocker se charge de la récupération : rendu JavaScript, contournement des protections anti-bot, rotation des proxys, résolution des CAPTCHA.

***

## Utiliser le SDK Web Unlocker

Pour les agents TypeScript/Node.js, le SDK `gologin-webunlocker` propose des méthodes typées :

```ts theme={null}
import { WebUnlocker } from "gologin-webunlocker";

const client = new WebUnlocker({
  apiKey: process.env.GOLOGIN_WEBUNLOCKER_API_KEY!
});

// get structured metadata instead of raw HTML
const { data } = await client.scrapeJSON("https://example.com");
console.log(data.title, data.description, data.headings);

// get clean text for LLM context
const { text } = await client.scrapeText("https://example.com");

// batch scrape with concurrency control
const results = await client.batchScrape(
  ["https://example.com/1", "https://example.com/2", "https://example.com/3"],
  { concurrency: 3 }
);
```

Consultez la [référence du SDK Web Unlocker](https://gologin.com/docs/fr/scraping-api-sdk-and-cli.md) pour la liste complète des méthodes.

***

## Utiliser la CLI

Pour les agents qui exécutent des commandes shell (comme Claude Code), la CLI est la solution la plus simple :

```bash theme={null}
# plain text — good for LLM context
gologin-web-access scrape-text https://example.com

# structured JSON — title, description, headings, links
gologin-web-access scrape-json https://example.com

# batch scrape — many pages at once
gologin-web-access batch-scrape url1 url2 url3 --format text --summary

# search the web
gologin-web-access search "best antidetect browser 2026" --limit 10

# extract structured data with a schema
gologin-web-access extract https://example.com --schema ./schema.json
```

Consultez la [référence de la Web Access CLI](https://gologin.com/docs/fr/cli-tools/web-access.md) pour la liste complète des commandes.

***

## Modèles d'usage courants pour les agents

| Modèle | Comment |
| - | - |
| Agent de recherche | L'agent appelle l'outil `scrape` → lit les pages → synthétise les résultats |
| Suivi des prix | `batch-scrape` des pages produits selon un calendrier → comparaison avec l'exécution précédente |
| Veille concurrentielle | `crawl` des sites concurrents → transmission à un LLM pour analyse |
| Enrichissement de leads | `scrape-json` des pages d'entreprise → extraction de données structurées |
| Agrégation de contenu | `search` + `scrape-text` → création de flux de contenu sélectionné |

***

## Voir aussi

* [Qu'est-ce que Web Unlocker](https://gologin.com/docs/fr/what-is-web-unlocker.md) : présentation du produit et tarifs
* [SDK Web Unlocker](https://gologin.com/docs/fr/scraping-api-sdk-and-cli.md) : référence du SDK TypeScript
* [Web Access CLI](https://gologin.com/docs/fr/cli-tools/web-access.md) : CLI unifiée
* [AI Skills](https://gologin.com/docs/fr/api-reference/ai-integrations/ai-skills.md) : skills prêts à l'emploi pour Claude Code


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.