Przejdź do głównej treści
Gologin Web Access to ujednolicone narzędzie CLI, które łączy dwa produkty Gologin w jednym zestawie poleceń:
  • Web Unlocker — bezstanowy odczyt i ekstrakcja danych. Sprawdza się najlepiej, gdy chcesz szybko pobrać zawartość strony bez utrzymywania sesji przeglądarki.
  • Cloud Browser — interakcja ze stanem sesji. Sprawdza się najlepiej, gdy potrzebujesz nawigacji, klikania, wpisywania tekstu, zrzutów ekranu lub wieloetapowych procesów, które zachowują stan między poleceniami.
Oba tryby korzystają z jednego modelu konfiguracji i jednego zestawu danych uwierzytelniających. Zalecamy skonfigurowanie obu kluczy na początku, aby agenci nie przerywali zadania w połowie z powodu brakujących kluczy.

Instalacja

Wymaga Node.js >= 18.17.

Dane uwierzytelniające

Dwa tryby działają w oparciu o dwa różne rodzaje danych uwierzytelniających Gologin:

Plik konfiguracyjny

Dane uwierzytelniające przechowuj w pliku ~/.gologin-web-access/config.json:
Zainicjuj konfigurację interaktywnie:

Szybki start — odczyt strony

Szybki start — interakcja ze stroną


Opis poleceń — scraping / read

Te polecenia korzystają z Web Unlocker. Są bezstanowe — sesja przeglądarki nie jest utrzymywana.

Pojedyncza strona

Typowe opcje: --format text|markdown|html, --source auto|unlocker|browser, --fallback none|browser

Operacje wsadowe

Opcje wsadowe: --format, --source, --only-main-content, --retry <n>, --backoff-ms <ms>, --summary, --output <path>, --strict Domyślnie batch-scrape zwraca kod wyjścia 0 przy częściowym powodzeniu. Dodaj --strict, aby polecenie kończyło się błędem przy dowolnym niepowodzeniu.

Wyszukiwanie i odkrywanie

Opcje: --limit <n>, --max-depth <n>, --concurrency <n>, --only-main-content

Asynchroniczne zadania crawl

Śledzenie zmian

Runbooki


Opis poleceń — browser / interact

Te polecenia korzystają z Cloud Browser. Utrzymują sesję ze stanem za pośrednictwem lokalnego demona.

Zarządzanie sesją

Opcje: --profile <id>, aby użyć konkretnego profilu Gologin.

Odczyt strony

Interakcja

Nawigacja

Karty

Zaawansowane


Przypadki użycia i przykłady

Pobranie strony z cennikiem konkurencji

Zwraca tytuł, opis, nagłówki i linki w postaci ustrukturyzowanego JSON. Jeśli strona jest zasłonięta oknem zgody na pliki cookie lub zabezpieczona weryfikacją, informuje o tym pole outcome, a nextActionHint sugeruje przejście na tryb przeglądarki.

Budowa korpusu badawczego z witryny z dokumentacją

Wynik możesz przekazać do LLM w celu streszczania, odpowiadania na pytania lub fine-tuningu.

Monitorowanie zmian na stronach

Uruchamiaj codziennie przez cron. Porównuj różnice, aby wykrywać zmiany cen, nowe funkcje lub usunięte treści.

Wyodrębnianie ustrukturyzowanych danych za pomocą schematu

Zdefiniuj, co chcesz wyodrębnić:
Następnie wyodrębnij dane:
Działa na wielu stronach dzięki poleceniu batch-extract.

Wyszukiwanie w sieci i pobieranie wyników

Logowanie do witryny i interakcja

Gdy samo pobieranie danych nie wystarcza i trzeba klikać, wpisywać tekst i nawigować:

Parsowanie lokalnych dokumentów

Nie tylko strony internetowe — możesz też parsować pliki PDF, dokumenty Word i arkusze Excel:

Automatyzacja wieloetapowych procesów za pomocą runbooków

Zdefiniuj sekwencję kroków w pliku JSON i odtwarzaj ją, kiedy chcesz:

Routing źródła

Polecenia obsługujące opcję --source mogą korzystać z różnych backendów:

Ustrukturyzowany wynik

scrape-json zwraca bogate metadane, w tym:
  • title, description, headings, headingsByLevel, links
  • Klasyfikacja wyniku: ok, empty, incomplete, authwall, challenge, blocked, cookie_wall
  • nextActionHint — sugerowany kolejny krok, gdy strona nie jest w pełni dostępna
search zwraca requestedLimit, returnedCount, warnings, cacheTtlMs oraz position dla każdego wyniku.

Powiązane

Pakiet npm

gologin-web-access

Kod źródłowy

GologinLabs/gologin-web-access