Przejdź do głównej treści
Gologin Web Access to ujednolicone narzędzie CLI, które łączy dwa produkty Gologin w jednym zestawie poleceń:
  • Web Unlocker — bezstanowy odczyt i ekstrakcja danych. Najlepszy wybór, gdy chcesz szybko pobrać zawartość strony bez utrzymywania sesji przeglądarki.
  • Cloud Browser — interakcja ze stanem sesji. Najlepszy wybór, gdy potrzebujesz nawigacji, klikania, wpisywania tekstu, zrzutów ekranu lub wieloetapowych procesów, które trwają między kolejnymi poleceniami.
Oba tryby korzystają z jednego modelu konfiguracji i jednego sposobu ustawiania danych uwierzytelniających. Zalecamy skonfigurowanie obu zestawów danych od razu, aby agenci nie przerywali zadania z powodu brakujących kluczy.

Instalacja

Wymaga Node.js >= 18.17.

Dane uwierzytelniające

Dwa różne zestawy danych uwierzytelniających Gologin obsługują dwa tryby:

Plik konfiguracyjny

Dane uwierzytelniające przechowuj w pliku ~/.gologin-web-access/config.json:
Możesz też utworzyć ten plik poleceniem config init. Polecenie nie jest interaktywne: przekaż klucze jako flagi albo pobierze je ze zmiennych środowiskowych opisanych powyżej. Następnie sprawdzi klucze w API Gologin:
Dodaj --no-validate, aby pominąć sprawdzanie kluczy. Jeśli plik konfiguracyjny już istnieje, config init pozostawi go bez zmian, chyba że dodasz --force.

Szybki start — odczyt strony

Szybki start — interakcja ze stroną


Opis poleceń — scraping / read

Te polecenia korzystają z Web Unlocker. Są bezstanowe — nie utrzymują sesji przeglądarki.

Pojedyncza strona

Typowe opcje: --format text|markdown|html, --source auto|unlocker|browser, --fallback none|browser

Operacje wsadowe

Opcje operacji wsadowych: --format, --source, --only-main-content, --retry <n>, --backoff-ms <ms>, --summary, --output <path>, --strict Domyślnie batch-scrape kończy działanie z kodem 0 przy częściowym powodzeniu. Dodaj --strict, aby polecenie kończyło się błędem przy dowolnym niepowodzeniu.

Wyszukiwanie i odkrywanie

Opcje: --limit <n>, --max-depth <n>, --concurrency <n>, --only-main-content

Asynchroniczne zadania crawl

Śledzenie zmian

Runbooki


Opis poleceń — browser / interact

Te polecenia korzystają z Cloud Browser. Utrzymują sesję ze stanem za pośrednictwem lokalnego demona.

Zarządzanie sesjami

Opcje: --profile <id>, aby użyć wybranego profilu Gologin.

Odczyt strony

Interakcja

Nawigacja

Karty

Zaawansowane


Przypadki użycia i przykłady

Pobranie strony z cennikiem konkurencji

Zwraca tytuł, opis, nagłówki i linki w postaci ustrukturyzowanego JSON. Jeśli strona jest zablokowana przez wymóg akceptacji plików cookie lub weryfikację, informuje o tym pole outcome, a nextActionHint sugeruje przejście do trybu przeglądarki.

Budowa korpusu badawczego na podstawie dokumentacji

Przekaż wynik do modelu LLM, aby tworzyć streszczenia, odpowiadać na pytania lub dostrajać model.

Monitorowanie zmian na stronach

Uruchamiaj codziennie za pomocą cron. Porównuj różnice, aby wykrywać zmiany cen, nowe funkcje lub usunięte treści.

Wyodrębnianie ustrukturyzowanych danych za pomocą schematu

Zdefiniuj, co chcesz wyodrębnić. Schemat przypisuje każde pole wyjściowe do selektora CSS:
Zwykły ciąg znaków zwraca tekst pierwszego pasującego elementu. Obiekt przyjmuje następujące klucze:
  • selector — selektor CSS
  • type — text (domyślnie), html, attr lub exists
  • attribute — nazwa atrybutu, gdy type ma wartość attr
  • all — true zwraca wszystkie dopasowania w postaci listy
  • fields — zagnieżdżony schemat stosowany wewnątrz każdego dopasowania
Następnie uruchom ekstrakcję:
Działa też na wielu stronach dzięki batch-extract.

Wyszukiwanie w sieci i pobieranie wyników

Logowanie do witryny i interakcja

Gdy samo pobieranie treści nie wystarcza i trzeba klikać, wpisywać tekst oraz nawigować:

Analiza lokalnych dokumentów

Nie tylko strony internetowe — możesz analizować także pliki PDF, dokumenty Word i arkusze Excel:

Automatyzacja wieloetapowych procesów za pomocą runbooków

Zdefiniuj sekwencję kroków w pliku JSON i odtwarzaj ją, kiedy chcesz:

Routing źródła

Polecenia obsługujące opcję --source mogą korzystać z różnych backendów:

Ustrukturyzowane dane wyjściowe

scrape-json zwraca bogate metadane, w tym:
  • title, description, headings, headingsByLevel, links
  • Klasyfikację wyniku: ok, empty, incomplete, authwall, challenge, blocked, cookie_wall
  • nextActionHint — sugerowany kolejny krok, gdy strona nie jest w pełni dostępna
search zwraca requestedLimit, returnedCount, warnings, cacheTtlMs oraz position dla każdego wyniku.

Powiązane materiały

Pakiet npm

gologin-web-access

Kod źródłowy

GologinLabs/gologin-web-access