Warum als Scraping API nutzen
- Ein Endpoint für jede beliebige Ziel-URL
- Authentifizierung per API-Key, keine Browser-Orchestrierung erforderlich
- Standardmäßig HTML, auf Wunsch Markdown oder JSON, bereit für bestehende Parser
- Passt gut zu ETL, Monitoring, KI-Datenaufnahme und Daten-Pipelines
Endpoint
GET https://parsing.webunlocker.gologin.com/v1/scrape?url={encoded_url}
Authentifizierung
Senden Sie Ihren API-Key in den Headern:Anfragemodell
Schnellstart
cURL
Python
JavaScript (fetch)
Antwortverhalten
Standardmäßig ist der Antwort-Body der gerenderte Roh-HTML-Code der Seite. Mitformat=markdown ist der Body Markdown. Mit format=json ist der Body ein JSON-Objekt:
200-> Erfolg, der Body enthält die Seite im angeforderten Format400-> fehlerhafte Anfrage, zum Beispiel fehlturl; Body:{"success":false,"error":"Request failed"}401-> der Headerapikeyfehlt; Body:{"message":"Missing API key in request"}
Hinweise zu Wiederholungsversuchen
Wiederholen Sie die Anfrage mit exponentiellem Backoff bei:- Netzwerkfehlern
408,429,500,502,503,504
Offizielles Node.js SDK
Installation:SDK-Schnellstart
Konstruktor-Optionen
Zentrale SDK-Methoden
scrape(url)-> normalisiertes AntwortobjektscrapeRaw(url)-> nativeResponsebuildScrapeUrl(url)-> vollständige Anfrage-URL
Im SDK abgeleitete Methoden (aus dem zurückgegebenen HTML)
Dies sind keine separaten Backend-Endpoints; sie werden im SDK aus dem HTML der API abgeleitet. Das SDK sendet nur den Parameterurl, nicht format. Daher kann diese Ausgabe von der eigenen Antwort der API mit format=markdown oder format=json abweichen:
scrapeText(url)-> reiner TextscrapeMarkdown(url)-> MarkdownscrapeJSON(url)-> strukturierte Metadaten (title,description,canonical,meta,headings,links)batchScrape(urls, { concurrency })-> Hilfsmethode für mehrere Scrape-Aufrufe
Typisierte Fehler
WebUnlockerErrorAuthenticationErrorRateLimitErrorAPIErrorTimeoutErrorNetworkError
401/403->AuthenticationError429->RateLimitError500+und andere Nicht-2xx-Statuscodes (zum Beispiel400) ->APIError- Timeout/Abbruch ->
TimeoutError - Fetch-/Netzwerkfehler ->
NetworkError
CLI
scrape(roher HTML-Code/Text)text(abgeleiteter Text)markdown(abgeleitetes Markdown)json(abgeleitete Metadaten)
Typische Anwendungsfälle für Scraping
- Preis- und Katalogüberwachung
- Anreicherung von Leads und Verzeichnissen
- Pipelines für Marktanalysen
- Content-Aggregation und Indexierung
- Workflows für LLM-Datenaufnahme und Extraktion
Gologin Web Access CLI (einheitlich)
Für eine leistungsfähigere CLI, die Web Unlocker und Cloud Browser in einer gemeinsamen Befehlsoberfläche vereint, verwenden Siegologin-web-access: