Sapo u nis GEO.GG është plotësisht e re. Nëse diçka duket jo në rregull, na jepni durim -- contact@geo.gg arrin tek një njeri

Si të vendosni në whitelist crawler-in Tonë të auditimit

Kur faqja Juaj është pas një shtrese mbrojtëse kundër botëve (Cloudflare, Vercel, DataDome ose e ngjashme), crawler-i ynë mund të mos jetë në gjendje të marrë faqet Tuaja dhe auditimi do të dështojë. Kjo faqe shpjegon se si ta lejoni atë të kalojë.

Çfarë është crawler-i ynë

Ne ekzekutojmë një instancë Crawl4AI të vetë-hostuar për të marrë faqet e renditura në urdhrin tuaj të auditimit. Crawl-i është një operacion një-herësh -- funksionon një herë për auditim, respekton direktivat tuaja robots.txt (duke përfshirë noai dhe noimageai), dhe përmbajtja e marrë përdoret vetëm për të gjeneruar raportin tuaj. Nuk ndahet me asnjë pipeline trajnimi të palëve të treta.

Lejo sipas IP-je

Mënyra më e besueshme për të lejuar crawler-in tonë është ta vendosni në whitelist sipas adresës IP. IP-të tona të daljes publikohen përmes DNS -- emri host crawler.geo.gg gjithmonë zgjidhet në IP-të aktuale të crawler-it tonë. Ju mund të verifikoni IP-të aktuale në çdo kohë me: 

dig +short crawler.geo.gg
nslookup crawler.geo.gg

IP-të aktuale në momentin e ngarkimit të kësaj faqeje:

  • 195.201.165.51

Pse nuk ekziston një User-Agent i vetëm i qëndrueshëm

Crawler-i Ynë përdor motorë shfletuesi (Chromium) për të trajtuar faqe të renderuara me JavaScript. Motorët e shfletuesit ndërrojnë string-e reale User-Agent shfletuesi për të kaluar heuristikat bazë të detektimit të botëve -- fiksimi i një User-Agent do ta bënte atë lehtësisht të bllokueshëm. Adresa IP është i vetmi identifikues i qëndrueshëm dhe i verifikueshëm për crawler-in Tonë. Prandaj, vendosja në whitelist sipas IP-së është qasja e rekomanduar.

Ku ta shtoni listen e lejimit

  • Cloudflare WAF: Security > WAF > Tools > IP Access Rules -- shtoni çdo IP me veprimin Allow dhe aplikojeni atë në zonën Tuaj.
  • Vercel Firewall: Project Settings > Security > Firewall -- shtoni një rregull me kushtin IP Address equals çdo crawler IP dhe veprimin Allow.
  • DataDome: Dashboard-i i DataDome > Allowlist -- shtoni çdo IP crawler-i në IP allowlist.

Pas vendosjes në whitelist, përdorni butonin Riprovo në faqen tuaj të auditimit për të rifutur crawl-in. Nëse keni probleme ose ofruesi Juaj i WAF nuk është i listuar më sipër, përgjigjuni emailit Tuaj të konfirmimit të auditimit dhe ne do të ndihmojmë.