अभी लॉन्च हुआ GEO.GG बिल्कुल नया है। अगर कुछ अजीब लगे तो कृपया हमारे साथ धीरज रखें -- contact@geo.gg मानव तक पहुंचता है।

हमारे audit crawler को whitelist कैसे करें

जब आपकी site bot-protection layer (Cloudflare, Vercel, DataDome या similar) के पीछे होती है, तो हमारा crawler आपके pages fetch नहीं कर पाता और audit fail हो जाता है। यह page बताता है कि इसे कैसे allow करें।

हमारा crawler क्या है

हम आपके audit order में listed pages fetch करने के लिए एक self-hosted Crawl4AI instance चलाते हैं। Crawl एक one-shot operation है -- यह एक बार प्रति audit चलता है, आपके robots.txt directives (जिसमें noai और noimageai शामिल हैं) का सम्मान करता है, और fetched content का उपयोग केवल आपकी report generate करने के लिए किया जाता है। इसे किसी third-party training pipeline के साथ share नहीं किया जाता।

IP से Whitelist करें

हमारे crawler को allow करने का सबसे विश्वसनीय तरीका IP address से whitelist करना है। हमारे egress IPs DNS के माध्यम से published हैं -- hostname crawler.geo.gg हमेशा हमारे crawler के वर्तमान IPs resolve करता है। आप किसी भी समय वर्तमान IPs verify कर सकते हैं: 

dig +short crawler.geo.gg
nslookup crawler.geo.gg

पेज लोड के समय वर्तमान IPs:

  • 195.201.165.51

एक single stable User-Agent क्यों नहीं है

हमारा crawler JavaScript-rendered sites को handle करने के लिए browser engines (Chromium) का उपयोग करता है। Browser engines basic bot-detection heuristics पास करने के लिए real browser User-Agent strings cycle करते हैं -- एक User-Agent pin करना इसे trivially blockable बना देगा। IP address हमारे crawler के लिए एकमात्र stable, verifiable identifier है। इसलिए IP द्वारा whitelisting recommended approach है।

Whitelist कहाँ जोड़ें

  • Cloudflare WAF: Security > WAF > Tools > IP Access Rules -- प्रत्येक IP को action Allow के साथ जोड़ें और इसे अपने zone पर apply करें।
  • Vercel Firewall: Project Settings > Security > Firewall -- एक rule जोड़ें जिसमें condition IP Address equals each crawler IP और action Allow हो।
  • DataDome: DataDome dashboard > Allowlist -- प्रत्येक crawler IP को IP allowlist में जोड़ें।

Whitelisting के बाद, अपने audit page पर Retry बटन का उपयोग करके crawl दोबारा चलाएं। यदि आपको कोई समस्या आए या आपका WAF provider ऊपर सूचीबद्ध नहीं है, तो अपने audit confirmation email का जवाब दें और हम मदद करेंगे।