Перейти к основному содержанию
Web Unlocker — это Scraping API: вы отправляете URL и получаете полностью отрисованный HTML. На этой странице собраны самые распространённые способы применения.

Парсинг страницы самостоятельно

Самый простой сценарий: вам нужно содержимое веб-страницы, которая блокирует обычные HTTP-запросы.

Python

JavaScript

Не нужно запускать браузер и настраивать прокси. Один вызов — и страница у вас. Подходит для:
  • Проверки цен на сайте конкурента
  • Сбора вакансий, отзывов или данных о товарах
  • Отслеживания изменений на страницах
  • Одноразовых скриптов для сбора данных

Передача контента в ИИ

Web Unlocker возвращает необработанный HTML. Передайте его в LLM, чтобы извлечь структурированные данные, составить краткое содержание или ответить на вопросы о странице — без написания логики разбора.
Чтобы отправлять модели меньше разметки, добавьте в запрос format=markdown — и получите страницу в формате Markdown вместо HTML.

Python + OpenAI

JavaScript + Anthropic

Подходит для:
  • Извлечения структурированных данных (цены, названия, даты) без написания парсеров
  • Краткого пересказа статей и страниц товаров
  • Сравнения нескольких страниц и формирования выводов
  • Создания исследовательских и мониторинговых инструментов на основе ИИ

Использование внутри ИИ-агента

Дайте вашему ИИ-агенту инструмент scrape на базе Web Unlocker. Тогда агент сможет самостоятельно работать с вебом — загружать страницы, читать содержимое и выполнять действия — а вам не придётся писать логику просмотра сайтов.
Агент сам решает, когда выполнять парсинг и какой URL загружать. Саму загрузку выполняет Web Unlocker. Подходит для:
  • Исследовательских агентов, которые самостоятельно работают с вебом
  • Ботов для сравнения цен и поиска выгодных предложений
  • Конвейеров конкурентной разведки
  • Любых агентов, которым нужны актуальные данные из интернета

Парсинг множества страниц одновременно

Запускайте запросы параллельно, чтобы собирать данные сразу с нескольких URL.
Подходит для:
  • Парсинга целых каталогов товаров и страниц со списками
  • Массового сбора данных для обучающих датасетов
  • Одновременного мониторинга множества страниц

Использование из командной строки

Обойдитесь вовсе без написания кода — используйте Gologin Web Access CLI для типовых сценариев парсинга:
Полный справочник команд см. в разделе Web Access CLI.

Итоги

Чтобы выполнить первый запрос, перейдите к Быстрому старту.