Zum Hauptinhalt springen
Gologin Web Unlocker ist eine Scraping API mit einem einzigen Endpoint für JavaScript-lastige Websites. Sie senden eine URL, erhalten den gerenderten HTML-Code bzw. Text der Seite und verarbeiten ihn in Ihrer eigenen Extraktions-Pipeline.

Warum als Scraping API nutzen

  • Ein Endpoint für jede beliebige Ziel-URL
  • Authentifizierung per API-Key, keine Browser-Orchestrierung erforderlich
  • Standardmäßig HTML, auf Wunsch Markdown oder JSON, bereit für bestehende Parser
  • Passt gut zu ETL, Monitoring, KI-Datenaufnahme und Daten-Pipelines

Endpoint

GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}

Authentifizierung

Senden Sie Ihren API-Key in den Headern:

Anfragemodell

Schnellstart

cURL

Python

JavaScript (fetch)

Antwortverhalten

Standardmäßig ist der Antwort-Body der gerenderte Roh-HTML-Code der Seite. Mit format=markdown ist der Body Markdown. Mit format=json ist der Body ein JSON-Objekt:
Statuscodes:
  • 200 -> Erfolg, der Body enthält die Seite im angeforderten Format
  • 400 -> fehlerhafte Anfrage, zum Beispiel fehlt url; Body: {"success":false,"error":"Request failed"}
  • 401 -> der Header apikey fehlt; Body: {"message":"Missing API key in request"}

Hinweise zu Wiederholungsversuchen

Wiederholen Sie die Anfrage mit exponentiellem Backoff bei:
  • Netzwerkfehlern
  • 408, 429, 500, 502, 503, 504

Offizielles Node.js SDK

Installation:

SDK-Schnellstart

Konstruktor-Optionen

Zentrale SDK-Methoden

  • scrape(url) -> normalisiertes Antwortobjekt
  • scrapeRaw(url) -> native Response
  • buildScrapeUrl(url) -> vollständige Anfrage-URL

Im SDK abgeleitete Methoden (aus dem zurückgegebenen HTML)

Dies sind keine separaten Backend-Endpoints; sie werden im SDK aus dem HTML der API abgeleitet. Das SDK sendet nur den Parameter url, nicht format. Daher kann diese Ausgabe von der eigenen Antwort der API mit format=markdown oder format=json abweichen:
  • scrapeText(url) -> reiner Text
  • scrapeMarkdown(url) -> Markdown
  • scrapeJSON(url) -> strukturierte Metadaten (title, description, canonical, meta, headings, links)
  • batchScrape(urls, { concurrency }) -> Hilfsmethode für mehrere Scrape-Aufrufe

Typisierte Fehler

  • WebUnlockerError
  • AuthenticationError
  • RateLimitError
  • APIError
  • TimeoutError
  • NetworkError
Zuordnung:
  • 401 / 403 -> AuthenticationError
  • 429 -> RateLimitError
  • 500+ und andere Nicht-2xx-Statuscodes (zum Beispiel 400) -> APIError
  • Timeout/Abbruch -> TimeoutError
  • Fetch-/Netzwerkfehler -> NetworkError

CLI

Befehle:
  • scrape (roher HTML-Code/Text)
  • text (abgeleiteter Text)
  • markdown (abgeleitetes Markdown)
  • json (abgeleitete Metadaten)
Beispiele:

Typische Anwendungsfälle für Scraping

  • Preis- und Katalogüberwachung
  • Anreicherung von Leads und Verzeichnissen
  • Pipelines für Marktanalysen
  • Content-Aggregation und Indexierung
  • Workflows für LLM-Datenaufnahme und Extraktion

Gologin Web Access CLI (einheitlich)

Für eine leistungsfähigere CLI, die Web Unlocker und Cloud Browser in einer gemeinsamen Befehlsoberfläche vereint, verwenden Sie gologin-web-access:
Die vollständige Referenz finden Sie unter Gologin Web Access CLI.

Weiterführende Dokumentation