Gerade gestartet GEO.GG ist brandneu. Falls etwas komisch aussieht, haben Sie bitte Geduld mit uns -- contact@geo.gg erreicht einen Menschen.

So lassen Sie unseren Audit-Crawler durch

Wenn Ihre Website hinter einem Bot-Schutz (Cloudflare, Vercel, DataDome oder ähnlich) liegt, kann unser Crawler Ihre Seiten unter Umständen nicht abrufen und das Audit schlägt fehl. Diese Seite erklärt, wie Sie ihn durchlassen.

Was unser Crawler ist

Wir betreiben eine selbst gehostete Crawl4AI-Instanz, um die in Ihrem Audit-Auftrag genannten Seiten abzurufen. Der Crawl ist ein einmaliger Vorgang -- er läuft genau einmal pro Audit, beachtet Ihre robots.txt-Vorgaben (einschließlich noai und noimageai), und die abgerufenen Inhalte dienen ausschließlich dazu, Ihren Report zu erstellen. Sie werden an keine Trainingspipeline Dritter weitergegeben.

Per IP-Adresse freigeben

Am zuverlässigsten lassen Sie unseren Crawler über seine IP-Adresse zu. Unsere Egress-IPs sind per DNS veröffentlicht -- der Hostname crawler.geo.gg löst stets auf die aktuellen IPs unseres Crawlers auf. Sie können die aktuellen IPs jederzeit so überprüfen: 

dig +short crawler.geo.gg
nslookup crawler.geo.gg

Aktuelle IPs zum Zeitpunkt des Seitenaufrufs:

  • 195.201.165.51

Warum es keinen festen User-Agent gibt

Unser Crawler nutzt Browser-Engines (Chromium), um JavaScript-gerenderte Seiten zu verarbeiten. Browser-Engines wechseln dabei zwischen echten Browser-User-Agents, um einfache Bot-Erkennungsheuristiken zu bestehen -- ein fest verdrahteter User-Agent ließe sich trivial blockieren. Die IP-Adresse ist die einzige stabile, überprüfbare Kennung unseres Crawlers. Die Freigabe per IP ist daher der empfohlene Weg.

Wo Sie die Freigabe eintragen

  • Cloudflare WAF: Security > WAF > Tools > IP Access Rules -- jede IP mit Aktion Allow hinzufügen und auf Ihre Zone anwenden.
  • Vercel Firewall: Project Settings > Security > Firewall -- eine Regel mit der Bedingung IP Address equals für jede Crawler-IP und Aktion Allow anlegen.
  • DataDome: DataDome-Dashboard > Allowlist -- jede Crawler-IP zur IP-Allowlist hinzufügen.

Nach der Freigabe starten Sie den Crawl über die Schaltfläche „Erneut versuchen“ auf Ihrer Audit-Seite neu. Falls Probleme auftreten oder Ihr WAF-Anbieter oben nicht aufgeführt ist, antworten Sie einfach auf Ihre Audit-Bestätigungs-E-Mail -- wir helfen Ihnen.