Zum Hauptinhalt springen
Gologin Web Access ist eine einheitliche CLI, die zwei Gologin-Produkte hinter einer gemeinsamen Befehlsoberfläche vereint:
  • Web Unlocker — zustandsloses Lesen und Extrahieren. Ideal, wenn Sie Seiteninhalte schnell abrufen möchten, ohne eine Browser-Sitzung aufrechtzuerhalten.
  • Cloud Browser — zustandsbehaftete Interaktion. Ideal, wenn Sie Navigation, Klicks, Texteingaben, Screenshots oder mehrstufige Abläufe benötigen, die über mehrere Befehle hinweg bestehen bleiben.
Beide Modi nutzen dasselbe Konfigurationsmodell und dieselbe Einrichtung der Zugangsdaten. Wir empfehlen, beide Zugangsdaten gleich zu Beginn zu hinterlegen, damit Agents mitten in einer Aufgabe nicht wegen fehlender Schlüssel anhalten und nachfragen müssen.

Installation

Erfordert Node.js >= 18.17.

Zugangsdaten

Zwei verschiedene Gologin-Zugangsdaten steuern die beiden Modi:

Konfigurationsdatei

Speichern Sie die Zugangsdaten in ~/.gologin-web-access/config.json:
Oder erstellen Sie die Datei mit config init. Der Befehl ist nicht interaktiv: Übergeben Sie die Schlüssel als Flags, oder er übernimmt sie aus den oben genannten Umgebungsvariablen. Anschließend prüft er die Schlüssel gegen die Gologin-APIs:
Mit --no-validate überspringen Sie die Schlüsselprüfung. Wenn die Konfigurationsdatei bereits existiert, lässt config init sie unverändert, sofern Sie nicht --force hinzufügen.

Schnellstart — eine Seite lesen

Schnellstart — mit einer Website interagieren


Befehlsreferenz — Scraping / Read

Diese Befehle nutzen Web Unlocker. Sie sind zustandslos — es wird keine Browser-Sitzung aufrechterhalten.

Einzelne Seite

Gängige Optionen: --format text|markdown|html, --source auto|unlocker|browser, --fallback none|browser

Batch-Operationen

Batch-Optionen: --format, --source, --only-main-content, --retry <n>, --backoff-ms <ms>, --summary, --output <path>, --strict Standardmäßig gibt batch-scrape bei teilweisem Erfolg den Exit-Code 0 zurück. Mit --strict schlägt der Befehl bei jedem Fehler fehl.

Suche und Discovery

Optionen: --limit <n>, --max-depth <n>, --concurrency <n>, --only-main-content

Asynchrone Crawl-Jobs

Änderungsverfolgung

Runbooks


Befehlsreferenz — Browser / Interact

Diese Befehle nutzen Cloud Browser. Sie halten über einen lokalen Daemon eine zustandsbehaftete Sitzung aufrecht.

Sitzungsverwaltung

Optionen: --profile <id>, um ein bestimmtes Gologin-Profil zu verwenden.

Seiteninhalt lesen

Interaktion

Tabs

Cookies und Speicher

Erweitert


Anwendungsfälle und Beispiele

Die Preisseite eines Wettbewerbers scrapen

Gibt Titel, Beschreibung, Überschriften und Links als strukturiertes JSON zurück. Liegt die Seite hinter einer Cookie-Wall oder einer Challenge, zeigt Ihnen das Feld outcome das an — und nextActionHint empfiehlt den Wechsel in den Browser-Modus.

Einen Recherche-Korpus aus einer Dokumentationsseite aufbauen

Übergeben Sie die Ausgabe an ein LLM für Zusammenfassungen, Q&A oder Fine-Tuning.

Seiten auf Änderungen überwachen

Führen Sie den Befehl täglich per Cron aus. Vergleichen Sie die Diffs, um Preisänderungen, neue Funktionen oder entfernte Inhalte zu erkennen.

Strukturierte Daten mit einem Schema extrahieren

Legen Sie fest, was extrahiert werden soll. Das Schema ordnet jedes Ausgabefeld einem CSS-Selektor zu:
Ein einfacher String gibt den Text des ersten passenden Elements zurück. Ein Objekt unterstützt folgende Felder:
  • selector — CSS-Selektor
  • type — text (Standard), html, attr oder exists
  • attribute — Attributname, wenn type den Wert attr hat
  • all — true gibt alle Treffer als Liste zurück
  • fields — ein verschachteltes Schema, das innerhalb jedes Treffers angewendet wird
Anschließend extrahieren Sie die Daten:
Mit batch-extract funktioniert das auch über viele Seiten hinweg.

Das Web durchsuchen und Ergebnisse scrapen

Bei einer Website anmelden und interagieren

Wenn Scraping nicht ausreicht — Sie müssen klicken, tippen oder navigieren:

Lokale Dokumente parsen

Nicht nur Webseiten — auch PDFs, Word-Dokumente und Excel-Dateien lassen sich parsen:

Mehrstufige Workflows mit Runbooks automatisieren

Definieren Sie eine Abfolge von Schritten in JSON und spielen Sie sie erneut ab:

Source-Routing

Befehle, die --source unterstützen, können über verschiedene Backends geleitet werden:

Strukturierte Ausgabe

scrape-json liefert umfangreiche Metadaten, darunter:
  • title, description, headings, headingsByLevel, links
  • Klassifizierung des Ergebnisses (Outcome): ok, empty, incomplete, authwall, challenge, blocked, cookie_wall
  • nextActionHint — empfohlener nächster Schritt, wenn die Seite nicht vollständig zugänglich ist
search gibt requestedLimit, returnedCount, warnings, cacheTtlMs sowie pro Ergebnis position zurück.

Siehe auch

npm-Paket

gologin-web-access

Quellcode

GologinLabs/gologin-web-access