Перейти к основному содержанию
Gologin Web Access — это единый CLI, который объединяет два продукта Gologin в одном наборе команд:
  • Web Unlocker — чтение и извлечение данных без сохранения состояния. Подходит, когда нужно быстро получить содержимое страницы, не поддерживая сессию браузера.
  • Облачный браузер — взаимодействие с сохранением состояния. Подходит, когда нужны навигация, клики, ввод текста, скриншоты или многошаговые сценарии, которые продолжаются между командами.
Оба режима используют одну модель конфигурации и одну настройку учётных данных. Рекомендуем сразу настроить оба набора учётных данных, чтобы агентам не приходилось останавливаться и запрашивать недостающие ключи посреди задачи.

Установка

Требуется Node.js >= 18.17.

Учётные данные

Два режима работают на двух разных учётных данных Gologin:

Файл конфигурации

Храните учётные данные в файле ~/.gologin-web-access/config.json:
Либо создайте файл командой config init. Она не интерактивная: передайте ключи как флаги, иначе команда возьмёт их из переменных окружения, указанных выше. Затем она проверит ключи через API Gologin:
Добавьте --no-validate, чтобы пропустить проверку ключей. Если файл конфигурации уже существует, config init оставит его без изменений, пока вы не добавите --force.

Быстрый старт — чтение страницы

Быстрый старт — взаимодействие с сайтом


Справочник команд — скрейпинг / чтение

Эти команды используют Web Unlocker. Они работают без сохранения состояния — сессия браузера не поддерживается.

Одна страница

Общие параметры: --format text|markdown|html, --source auto|unlocker|browser, --fallback none|browser

Пакетные операции

Параметры пакетных команд: --format, --source, --only-main-content, --retry <n>, --backoff-ms <ms>, --summary, --output <path>, --strict По умолчанию batch-scrape завершается с кодом 0 при частичном успехе. Добавьте --strict, чтобы команда завершалась с ошибкой при любой неудаче.

Поиск и обнаружение

Параметры: --limit <n>, --max-depth <n>, --concurrency <n>, --only-main-content

Асинхронные задания обхода

Отслеживание изменений

Ранбуки


Справочник команд — браузер / взаимодействие

Эти команды используют Облачный браузер. Они поддерживают сессию с сохранением состояния через локальный демон.

Управление сессиями

Параметры: --profile <id> — использовать конкретный профиль Gologin.

Чтение страницы

Взаимодействие

Навигация

Вкладки

Дополнительно


Сценарии использования и примеры

Скрейпинг страницы с ценами конкурента

Возвращает заголовок, описание, заголовки разделов и ссылки в виде структурированного JSON. Если страница закрыта окном согласия на cookie или проверкой, об этом сообщит поле outcome, а nextActionHint подскажет переключиться в режим браузера.

Создание корпуса данных для исследования из сайта с документацией

Передайте результат в LLM для суммаризации, ответов на вопросы или дообучения.

Отслеживание изменений на страницах

Запускайте ежедневно через cron. Сравнивайте различия, чтобы выявлять изменения цен, новые функции или удалённое содержимое.

Извлечение структурированных данных по схеме

Опишите, что нужно извлечь. Схема сопоставляет каждое выходное поле с CSS-селектором:
Обычная строка возвращает текст первого найденного элемента. Объект принимает следующие поля:
  • selector — CSS-селектор
  • type — text (по умолчанию), html, attr или exists
  • attribute — имя атрибута, когда type равен attr
  • all — true возвращает все совпадения в виде списка
  • fields — вложенная схема, применяемая внутри каждого совпадения
Затем выполните извлечение:
Для нескольких страниц используйте batch-extract.

Поиск в интернете и скрейпинг результатов

Вход на сайт и взаимодействие с ним

Когда одного скрейпинга недостаточно и нужно кликать, вводить текст и переходить по страницам:

Разбор локальных документов

Не только веб-страницы — можно разбирать PDF, документы Word и файлы Excel:

Автоматизация многошаговых сценариев с помощью ранбуков

Опишите последовательность шагов в JSON и воспроизводите её при необходимости:

Маршрутизация источника

Команды, поддерживающие параметр --source, могут работать через разные бэкенды:

Структурированный вывод

scrape-json возвращает расширенные метаданные, включая:
  • title, description, headings, headingsByLevel, links
  • Классификация результата: ok, empty, incomplete, authwall, challenge, blocked, cookie_wall
  • nextActionHint — рекомендуемый следующий шаг, если страница доступна не полностью
search возвращает requestedLimit, returnedCount, warnings, cacheTtlMs и position для каждого результата.

См. также

Пакет npm

gologin-web-access

Исходный код

GologinLabs/gologin-web-access