Зачем использовать его как Scraping API
- Одна конечная точка для любого целевого URL
- Авторизация по API-ключу, не нужно управлять браузером
- По умолчанию возвращается HTML, по запросу — Markdown или JSON, которые подходят для готовых парсеров
- Легко встраивается в ETL, мониторинг, загрузку данных для ИИ и другие конвейеры данных
Конечная точка
GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}
Аутентификация
Передайте API-ключ в заголовках:Модель запроса
Быстрый старт
cURL
Python
JavaScript (fetch)
Поведение ответа
По умолчанию тело ответа — это необработанный отрендеренный HTML страницы. Приformat=markdown тело ответа — Markdown. При format=json тело ответа — JSON-объект:
200-> успех, тело содержит страницу в запрошенном формате400-> некорректный запрос, например, отсутствуетurl; тело:{"success":false,"error":"Request failed"}401-> отсутствует заголовокapikey; тело:{"message":"Missing API key in request"}
Рекомендации по повторным запросам
Повторяйте запросы с экспоненциальной задержкой при:- сетевых ошибках
- кодах
408,429,500,502,503,504
Официальный Node.js SDK
Установка:Быстрый старт с SDK
Параметры конструктора
Основные методы SDK
scrape(url)-> нормализованный объект ответаscrapeRaw(url)-> нативныйResponsebuildScrapeUrl(url)-> полный URL запроса
Производные методы на стороне SDK (из возвращённого HTML)
Это не отдельные конечные точки бэкенда: SDK получает их из HTML, который вернул API. SDK передаёт только параметрurl, без format, поэтому результат может отличаться от ответа самого API с format=markdown или format=json:
scrapeText(url)-> простой текстscrapeMarkdown(url)-> markdownscrapeJSON(url)-> структурированные метаданные (title,description,canonical,meta,headings,links)batchScrape(urls, { concurrency })-> вспомогательный метод для нескольких вызовов scrape
Типизированные ошибки
WebUnlockerErrorAuthenticationErrorRateLimitErrorAPIErrorTimeoutErrorNetworkError
401/403->AuthenticationError429->RateLimitError500+и другие статусы, кроме 2xx (например,400) ->APIError- тайм-аут или прерывание запроса ->
TimeoutError - сбой fetch или сети ->
NetworkError
CLI
scrape(необработанный HTML/текст)text(производный текст)markdown(производный markdown)json(производные метаданные)
Типичные сценарии скрейпинга
- мониторинг цен и каталогов
- обогащение данных о лидах и справочниках
- конвейеры рыночной аналитики
- агрегация и индексация контента
- загрузка данных в LLM и рабочие процессы извлечения
Gologin Web Access CLI (единый)
Если вам нужен более мощный CLI, который объединяет Web Unlocker и Cloud Browser в одном наборе команд, используйтеgologin-web-access: