সম্প্রতি চালু করা হয়েছে GEO.GG একদম নতুন। কোনো কিছু ঠিক না লাগলে, দয়া করে ধৈর্য রাখবেন -- contact@geo.gg একজন মানুষের কাছে পৌঁছায়।

কীভাবে আমাদের audit crawler-কে whitelist করবেন

যখন আপনার সাইট একটি bot-protection layer (Cloudflare, Vercel, DataDome বা অনুরূপ) এর পেছনে থাকে, তখন আমাদের crawler আপনার পেজগুলো fetch করতে নাও পারে এবং audit ব্যর্থ হবে। এই পেজটি ব্যাখ্যা করে কীভাবে এটিকে ঢুকতে দেওয়া যায়।

আমাদের crawler কী

আমরা আপনার audit order এ তালিকাভুক্ত পেজগুলো fetch করতে একটি self-hosted Crawl4AI instance চালাই। Crawl টি একটি one-shot অপারেশন -- এটি প্রতিটি audit এ একবার চলে, আপনার robots.txt directives (যেমন noai এবং noimageai) মেনে চলে, এবং fetched content শুধুমাত্র আপনার report তৈরি করতে ব্যবহৃত হয়। এটি কোনো third-party training pipeline এর সাথে শেয়ার করা হয় না।

IP দিয়ে Whitelist করুন

আমাদের crawler কে অনুমতি দেওয়ার সবচেয়ে নির্ভরযোগ্য উপায় হল IP অ্যাড্রেস দিয়ে whitelist করা। আমাদের egress IP গুলো DNS এর মাধ্যমে প্রকাশিত হয় -- hostname crawler.geo.gg সবসময় আমাদের crawler এর বর্তমান IP তে resolve হয়। আপনি যেকোনো সময় বর্তমান IP যাচাই করতে পারেন এইভাবে: 

dig +short crawler.geo.gg
nslookup crawler.geo.gg

এই page লোড হওয়ার সময়কার বর্তমান IP গুলো:

  • 195.201.165.51

কেন একটি স্থিতিশীল User-Agent নেই

আমাদের crawler JavaScript-rendered sites সামলাতে browser engines (Chromium) ব্যবহার করে। Browser engines মৌলিক bot-detection heuristics পার করতে real browser User-Agent strings-এর মধ্যে ঘুরে ফেরে -- একটি নির্দিষ্ট User-Agent বেঁধে দিলে সেটা সহজেই block করা সম্ভব। IP address হলো আমাদের crawler-এর একমাত্র স্থিতিশীল, যাচাইযোগ্য identifier। তাই IP দিয়ে whitelist করাই প্রস্তাবিত পদ্ধতি।

কোথায় whitelist যোগ করবেন

  • Cloudflare WAF: Security > WAF > Tools > IP Access Rules -- প্রতিটি IP-কে action Allow দিয়ে যোগ করুন এবং আপনার zone-এ apply করুন।
  • Vercel Firewall: Project Settings > Security > Firewall -- প্রতিটি crawler IP-এর জন্য condition IP Address equals এবং action Allow দিয়ে একটি rule যোগ করুন।
  • DataDome: DataDome dashboard > Allowlist -- প্রতিটি crawler IP-কে IP allowlist-এ যোগ করুন।

Whitelist করার পরে, আপনার audit page-এ Retry বাটন ব্যবহার করে crawl আবার চালান। কোনো সমস্যা হলে বা আপনার WAF provider উপরে তালিকাভুক্ত না থাকলে, আপনার audit confirmation email-এ reply করুন -- আমরা সাহায্য করব।