Краткий чек-лист
- 1 сессия скрейпинга = 1 профиль браузера
- Выбирайте тип прокси в зависимости от уровня защиты целевого сайта
- Используйте профили повторно в разных сессиях, чтобы сохранить cookies и состояние сессии
- Контролируйте скорость запросов: скрейперы блокируют по поведению, а не только по IP
- Для масштабирования (50+ одновременных сессий) используйте Gologin API, а не десктопное приложение
Выбор способа работы
Ручной скрейпинг (десктопное приложение Gologin)
Подходит для: сбора данных в небольших объёмах, сайтов с обязательным входом в аккаунт, процессов с участием оператора. Открывайте профили из приложения Gologin и собирайте данные прямо в окне браузера.Скрейпинг через API (Puppeteer / Playwright / Selenium)
Подходит для: автоматизированных процессов, 10+ одновременных сессий, скрейпинга по расписанию. Gologin запускает профиль и возвращает WebSocket-адрес, к которому подключается ваш скрипт автоматизации. Полную инструкцию по настройке смотрите в Быстрый старт по API.Шаг 1. Выберите стратегию использования прокси
Шаг 2. Управляйте сессиями и cookies
Профили Gologin автоматически сохраняют cookies между сессиями: вы входите в аккаунт один раз, и профиль остаётся авторизованным. Не очищайте cookies после каждого запуска: это нарушает непрерывность сессии и выглядит как поведение бота.Шаг 3. Контролируйте схему запросов
Обнаружение в основном определяется поведением, а не только IP-адресом. Практические рекомендации по задержкам:
Всегда делайте задержки случайными: фиксированный интервал является признаком автоматизации.
Шаг 4. Масштабируйте с помощью нескольких профилей
Для параллельного скрейпинга запускайте несколько профилей одновременно через API. Перед запуском большого числа профилей проверьте ограничения частоты запросов: действуют ограничения API.Практические ограничения по тарифам
- Professional: комфортно до ~10 одновременных профилей
- Business: до ~30 одновременных профилей
- Enterprise: 100+ одновременных профилей
Cloudflare и антибот-системы
Gologin справляется с проверками фингерпринта браузера (Canvas, WebGL, TLS-фингерпринт). Однако он не решает CAPTCHA автоматически. Если целевой сайт использует Cloudflare с CAPTCHA, подключите к вашему скрипту скрейпинга сервис для решения CAPTCHA (2captcha, CapSolver, Anti-Captcha).Распространённые признаки обнаружения
- Одинаковые интервалы между запросами
- Отсутствие событий прокрутки или движения мыши перед кликом
- Прямой переход на глубокие URL без referrer
- Фингерпринт Canvas или WebGL, не соответствующий заявленной ОС или браузеру
Дополнительные материалы
- Быстрый старт с API
- Режим без графического интерфейса
- Ограничения частоты запросов
- Лучший прокси для вашей задачи
- Статические прокси и прокси с ротацией