Vient d'être lancé GEO.GG est tout nouveau. Si quelque chose semble incorrect, veuillez nous excuser -- contact@geo.gg est traité par un humain.

Comment mettre sur liste blanche notre robot d'audit

Lorsque votre site se trouve derrière une couche de protection anti-bot (Cloudflare, Vercel, DataDome ou similaire), notre robot d'indexation peut ne pas être en mesure de récupérer vos pages et l'audit échouera. Cette page explique comment le laisser passer.

Ce qu'est notre robot d'indexation

Nous exploitons une instance auto-hébergée de Crawl4AI pour récupérer les pages listées dans votre commande d'audit. Le crawl est une opération unique -- il s'exécute une fois par audit, respecte vos directives robots.txt (y compris noai et noimageai), et le contenu récupéré est utilisé uniquement pour générer votre rapport. Il n'est pas partagé avec un pipeline de formation tiers.

Liste blanche par IP

La méthode la plus fiable pour autoriser notre robot d'indexation est de l'inscrire en liste blanche par adresse IP. Nos IP de sortie sont publiées via DNS -- le nom d'hôte crawler.geo.gg résout toujours vers les IP actuelles de notre robot d'indexation. Vous pouvez vérifier les IP actuelles à tout moment avec : 

dig +short crawler.geo.gg
nslookup crawler.geo.gg

Adresses IP actuelles au chargement de cette page :

  • 195.201.165.51

Pourquoi il n'existe pas d'User-Agent unique et stable

Notre robot utilise des moteurs de navigation (Chromium) pour gérer les sites rendu en JavaScript. Les moteurs de navigation font tourner de vraies chaînes User-Agent de navigateurs pour franchir les heuristiques de détection de bots de base -- fixer un User-Agent le rendrait trivialement bloquable. L'adresse IP est le seul identifiant stable et vérifiable de notre robot. La mise sur liste blanche par IP est donc l'approche recommandée.

Où ajouter la liste blanche

  • Cloudflare WAF: Sécurité > WAF > Outils > Règles d'accès IP -- ajoutez chaque IP avec l'action Autoriser et appliquez-la à votre zone.
  • Vercel Firewall: Paramètres du projet > Sécurité > Pare-feu -- ajoutez une règle avec la condition Adresse IP égale à chaque adresse IP du robot et l'action Autoriser.
  • DataDome: Tableau de bord DataDome > Liste blanche -- ajoutez chaque adresse IP du robot à la liste blanche des IP.

Après la mise sur liste blanche, utilisez le bouton Réessayer sur votre page d'audit pour relancer l'analyse. Si vous rencontrez des difficultés ou si votre fournisseur WAF n'est pas mentionné ci-dessus, répondez à l'e-mail de confirmation de votre audit et nous vous aiderons.