Acabou de lançar GEO.GG é novinho em folha. Se algo parecer estranho, por favor, tenha paciência conosco -- contact@geo.gg chega a uma pessoa.

Como incluir o rastreador de audit na lista de permitidos

Quando seu site está atrás de uma camada de proteção contra bots (Cloudflare, Vercel, DataDome ou similar), nosso rastreador pode não conseguir buscar suas páginas e a auditoria falhará. Esta página explica como deixá-lo passar.

O que é nosso rastreador

Executamos uma instância self-hosted do Crawl4AI para buscar as páginas listadas na sua ordem de auditoria. A busca é uma operação de uso único -- executa uma vez por auditoria, respeita suas diretivas robots.txt (incluindo noai e noimageai), e o conteúdo buscado é usado exclusivamente para gerar seu relatório. Ele não é compartilhado com nenhum pipeline de treinamento de terceiros.

Lista branca por IP

A forma mais confiável de permitir nosso rastreador é incluí-lo na lista branca por endereço IP. Nossos IPs de saída são publicados via DNS -- o hostname crawler.geo.gg sempre resolve para os IPs atuais do nosso rastreador. Você pode verificar os IPs atuais a qualquer momento com: 

dig +short crawler.geo.gg
nslookup crawler.geo.gg

IPs atuais no momento do carregamento desta pagina:

  • 195.201.165.51

Por que não há um único User-Agent estável

Nosso rastreador usa motores de navegador (Chromium) para lidar com sites renderizados por JavaScript. Os motores de navegador alternam entre strings User-Agent de navegadores reais para passar nas heuristicas basicas de deteccao de bots --Fixar um User-Agent tornaria o bloqueio trivial. O endereco IP e o unico identificador estavel e verificavel do nosso rastreador. Portanto, a abordagem recomendada e incluir na lista de permitidos por IP.

Onde adicionar a lista branca

  • Cloudflare WAF: Security > WAF > Tools > IP Access Rules -- adicione cada IP com a acao Allow e aplique-o a sua zona.
  • Vercel Firewall: Project Settings > Security > Firewall -- adicione uma regra com a condicao Endereco IP corresponde a cada IP do rastreador e acao Permitir.
  • DataDome: DataDome dashboard > Allowlist -- adicione cada IP do rastreador a lista de IPs permitidos.

Apos incluir na lista de permitidos, use o botao Tentar novamente na pagina do seu audit para executar o rastreamento novamente. Se tiver problemas ou se o seu provedor de WAF nao estiver listado acima, responda ao email de confirmacao do seu audit e noi-lo ajudaremos.