Перейти к основному содержанию
Gologin Web Unlocker — это скрейпинг-API с единой конечной точкой для сайтов с большим количеством JavaScript. Вы отправляете URL, получаете отрендеренный HTML или текст страницы и обрабатываете его в собственном конвейере извлечения данных.

Зачем использовать его как Scraping API

  • Одна конечная точка для любого целевого URL
  • Авторизация по API-ключу, не нужно управлять браузером
  • По умолчанию возвращается HTML, по запросу — Markdown или JSON, которые подходят для готовых парсеров
  • Легко встраивается в ETL, мониторинг, загрузку данных для ИИ и другие конвейеры данных

Конечная точка

GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}

Аутентификация

Передайте API-ключ в заголовках:

Модель запроса

Быстрый старт

cURL

Python

JavaScript (fetch)

Поведение ответа

По умолчанию тело ответа — это необработанный отрендеренный HTML страницы. При format=markdown тело ответа — Markdown. При format=json тело ответа — JSON-объект:
Коды статуса:
  • 200 -> успех, тело содержит страницу в запрошенном формате
  • 400 -> некорректный запрос, например, отсутствует url; тело: {"success":false,"error":"Request failed"}
  • 401 -> отсутствует заголовок apikey; тело: {"message":"Missing API key in request"}

Рекомендации по повторным запросам

Повторяйте запросы с экспоненциальной задержкой при:
  • сетевых ошибках
  • кодах 408, 429, 500, 502, 503, 504

Официальный Node.js SDK

Установка:

Быстрый старт с SDK

Параметры конструктора

Основные методы SDK

  • scrape(url) -> нормализованный объект ответа
  • scrapeRaw(url) -> нативный Response
  • buildScrapeUrl(url) -> полный URL запроса

Производные методы на стороне SDK (из возвращённого HTML)

Это не отдельные конечные точки бэкенда: SDK получает их из HTML, который вернул API. SDK передаёт только параметр url, без format, поэтому результат может отличаться от ответа самого API с format=markdown или format=json:
  • scrapeText(url) -> простой текст
  • scrapeMarkdown(url) -> markdown
  • scrapeJSON(url) -> структурированные метаданные (title, description, canonical, meta, headings, links)
  • batchScrape(urls, { concurrency }) -> вспомогательный метод для нескольких вызовов scrape

Типизированные ошибки

  • WebUnlockerError
  • AuthenticationError
  • RateLimitError
  • APIError
  • TimeoutError
  • NetworkError
Соответствие:
  • 401 / 403 -> AuthenticationError
  • 429 -> RateLimitError
  • 500+ и другие статусы, кроме 2xx (например, 400) -> APIError
  • тайм-аут или прерывание запроса -> TimeoutError
  • сбой fetch или сети -> NetworkError

CLI

Команды:
  • scrape (необработанный HTML/текст)
  • text (производный текст)
  • markdown (производный markdown)
  • json (производные метаданные)
Примеры:

Типичные сценарии скрейпинга

  • мониторинг цен и каталогов
  • обогащение данных о лидах и справочниках
  • конвейеры рыночной аналитики
  • агрегация и индексация контента
  • загрузка данных в LLM и рабочие процессы извлечения

Gologin Web Access CLI (единый)

Если вам нужен более мощный CLI, который объединяет Web Unlocker и Cloud Browser в одном наборе команд, используйте gologin-web-access:
Полное описание см. в разделе Gologin Web Access CLI.

Связанные материалы