Passer au contenu principal
Gologin Web Access est une CLI unifiée qui réunit deux produits Gologin derrière une seule interface de commandes :
  • Web Unlocker — lecture et extraction sans état. Idéal quand vous voulez obtenir rapidement le contenu d’une page sans maintenir de session de navigateur.
  • Cloud Browser — interaction avec état. Idéal quand vous avez besoin de naviguer, de cliquer, de saisir du texte, de faire des captures d’écran ou d’enchaîner plusieurs étapes qui persistent d’une commande à l’autre.
Les deux modes partagent un même modèle de configuration et une seule configuration des identifiants. Nous vous recommandons de configurer les deux identifiants dès le départ, afin que les agents ne s’arrêtent pas en cours de tâche pour réclamer une clé manquante.

Installation

Nécessite Node.js >= 18.17.

Identifiants

Deux identifiants Gologin différents alimentent les deux modes :

Fichier de configuration

Stockez vos identifiants dans ~/.gologin-web-access/config.json :
Vous pouvez aussi créer le fichier avec config init. Cette commande n’est pas interactive : transmettez les clés sous forme d’options, ou elle les récupère dans les variables d’environnement ci-dessus. Elle vérifie ensuite les clés auprès des API Gologin :
Ajoutez --no-validate pour ignorer la vérification des clés. Si le fichier de configuration existe déjà, config init le laisse tel quel, sauf si vous ajoutez --force.

Démarrage rapide — lire une page

Démarrage rapide — interagir avec un site


Référence des commandes — scraping / lecture

Ces commandes utilisent Web Unlocker. Elles sont sans état : aucune session de navigateur n’est maintenue.

Page unique

Options courantes : --format text|markdown|html, --source auto|unlocker|browser, --fallback none|browser

Opérations par lot

Options des commandes par lot : --format, --source, --only-main-content, --retry <n>, --backoff-ms <ms>, --summary, --output <path>, --strict Par défaut, batch-scrape renvoie le code de sortie 0 en cas de réussite partielle. Ajoutez --strict pour faire échouer la commande à la moindre erreur.

Recherche et découverte

Options : --limit <n>, --max-depth <n>, --concurrency <n>, --only-main-content

Tâches de crawl asynchrones

Suivi des modifications

Runbooks


Référence des commandes — navigateur / interaction

Ces commandes utilisent Cloud Browser. Elles maintiennent une session avec état via un daemon local.

Gestion des sessions

Options : --profile <id> pour utiliser un profil Gologin précis.

Lecture de la page

Interaction

Onglets

Cookies et stockage

Avancé


Cas d’usage et exemples

Scraper la page de tarifs d’un concurrent

Renvoie le titre, la description, les titres de section et les liens sous forme de JSON structuré. Si la page est bloquée par un mur de consentement aux cookies ou un test anti-bot, le champ outcome vous l’indique, et nextActionHint suggère de passer en mode navigateur.

Constituer un corpus de recherche à partir d’un site de documentation

Transmettez le résultat à un LLM pour faire des résumés, du Q&R ou du fine-tuning.

Surveiller les modifications de pages

Exécutez la commande chaque jour via cron. Comparez les différences pour détecter les changements de tarifs, les nouvelles fonctionnalités ou les contenus supprimés.

Extraire des données structurées avec un schéma

Définissez ce que vous voulez extraire. Le schéma associe chaque champ de sortie à un sélecteur CSS :
Une simple chaîne renvoie le texte du premier élément correspondant. Un objet accepte les propriétés suivantes :
  • selector — sélecteur CSS
  • type — text (par défaut), html, attr ou exists
  • attribute — nom de l’attribut lorsque type vaut attr
  • all — true renvoie toutes les correspondances sous forme de liste
  • fields — un schéma imbriqué appliqué à l’intérieur de chaque correspondance
Lancez ensuite l’extraction :
Fonctionne sur de nombreuses pages avec batch-extract.

Rechercher sur le web et scraper les résultats

Se connecter à un site et interagir

Quand le scraping ne suffit pas et que vous devez cliquer, saisir du texte ou naviguer :

Analyser des documents locaux

Pas seulement des pages web : analysez aussi des PDF, des documents Word et des fichiers Excel :

Automatiser des workflows en plusieurs étapes avec des runbooks

Définissez une séquence d’étapes en JSON, puis rejouez-la :

Routage des sources

Les commandes qui prennent en charge --source peuvent passer par différents backends :

Sortie structurée

scrape-json renvoie des métadonnées détaillées, notamment :
  • title, description, headings, headingsByLevel, links
  • Classification du résultat : ok, empty, incomplete, authwall, challenge, blocked, cookie_wall
  • nextActionHint — prochaine étape suggérée lorsque la page n’est pas entièrement accessible
search renvoie requestedLimit, returnedCount, warnings, cacheTtlMs, ainsi que position pour chaque résultat.

Voir aussi

Package npm

gologin-web-access

Code source

GologinLabs/gologin-web-access