به هرگونه ترافیکی که از منبعی غیر از انسان به سمت یک وبسایت یا اپلیکیشن سرازیر می‌شود، ترافیک بات می‌گویند. اصطلاح ترافیک بات اغلب بار معنایی منفی دارد، اما در واقعیت ترافیک بات الزاما خوب یا بد نیست. در واقع خوب یا بد بودن ترافیک بات، با توجه به هدف بات مشخص می‌شود. برخی از باتها برای خدمات مفیدی مانند موتورهای جستجو و دستیارهای دیجیتالی مانند سیری و الکسا ضروری هستند. اکثر شرکت‌ها از این نوع باتها در وب‌سایت‌های خود استقبال میکنند.
آنچه در این مقاله می‌خوانید:
چگونه می‌توان ترافیک بات را شناسایی کرد؟
چگونه ترافیک بات می‌تواند به تجزیه و تحلیل ترافیک وبسایت آسیب برساند؟
نحوه فیلتر کردن ترافیک بات از گوگل آنالیتیکس
چگونه ترافیک بات می‌تواند به عملکرد وبسایت آسیب برساند؟
چگونه ترافیک بات می‌تواند برای یک وبسایت تجاری مضر باشد؟
وب‌سایت‌ها چگونه می‌توانند ترافیک باتها را مدیریت کنند؟
بات‌های دیگری نیز وجود دارند که می‌توانند مخرب باشند، به عنوان مثال حملات DDoS با استفاده از باتها انجام می گیرد. بات‌های مضرتری مانند خزنده‌های وب غیرمجاز نیز وجود دارند که می‌توانند تجزیه و تحلیل وبسایت توسط بات‌های گوگل را مختل کنند. بیش از 44 درصد از کل ترافیک اینترنت را باتها تشکیل می‌دهند. از این میان بخش زیادی مربوط به بات‌های مخرب است. به همین دلیل بسیاری از سازمان‌ها به دنبال تفکیک ترافیک بات و کاربر هستند.
چگونه می‌توان ترافیک بات را شناسایی کرد؟
توسعه‌دهندگان وبسایت می‌توانند برای تفکیک ترافیک بات و کاربر مستقیما به درخواست‌های شبکه از وب‌سایت‌های خود نگاه کنند و ترافیک احتمالی بات را شناسایی کنند. یک ابزار تجزیه و تحلیل وبسایت یکپارچه مانند گوگل آنالیتیکس (google analytics) یا Heap می‌توانند به شناسایی ترافیک باتها کمک کنند. در تجزیه و تحلیل ترافیک ورودی یک وبسایت یا برنامه موارد زیر می‌توانند از مشخصه‌های ترافیک بات باشند:
بازدیدهای غیرعادی از صفحه
اگر وب‌سایتی دچار افزایش ناگهانی، بی‌سابقه و غیرمنتظره در بازدید از صفحه شود، به احتمال زیاد مورد هجوم باتها قرار گرفته است.
نرخ پرش بالای غیرعادی
نرخ پرش به معنای تعداد کاربرانی است که به یک صفحه از وبسایت مراجعه میکنند و قبل از کلیک بر روی هر چیزی در صفحه و یا هر فعالیت دیگری از صفحه خارج می‌شوند. هنگامی که نرخ پرش در یک وبسایت به طور ناگهانی بالا می‌رود می‌تواند نتیجه هدایت باتها به آن وبسایت باشد.
افزایش ناگهانی ترافیک از یک مکان غیرمنتظره (Spike in traffic from an unexpected location)
افزایش ناگهانی بازدید کاربران از یک منطقه خاص، به ویژه مناطقی که زبان مادری آنها با زبان پیشفرض وبسایت متفاوت است، می‌تواند نشانه‌ای از ترافیک بات باشد.
مدت زمان هر نشست (session time) به طور شگفت‌انگیزی کم یا زیاد شود
مدت زمان هر نشست، مدت زمانی است که کاربران در یک وبسایت می‌مانند. این مقدار به طور معمول ثابت است و تغییرات کمی دارد. افزایش غیرقابل توضیح در مدت زمان نشست می‌تواند نشانه‌ای از جستجوی باتها با سرعت غیرمعمول و آهسته در وبسایت باشد. اگر مدت زمان session time به طور غیرمنتظره‌ای کاهش یابد نیز می‌تواند نتیجه بازدید بات‌هایی باشد که سریعتر از یک کاربر انسانی بر روی صفحات وبسایت کلیک میکنند.
تبدیل‌های ناخواسته (Junk conversions)
افزایش تبدیل‌های دروغین، مانند ایجاد حساب کاربری با استفاده از آدرس‌های ایمیل نامفهوم یا فرم‌های تماس ارسال شده با نام‌ها و شماره تلفن‌های جعلی، می‌تواند نتیجه بات‌های پر کننده فرم (form-filling bots) یا بات‌های هرزنامه (spam bots) باشد.
در زیرساخت داده‌ای اَبر دِراک، مکانیزمی وجود دارد که تشخیص میدهد داده از طرف کاربر بوده یا بات میباشد. این مکانیزم با دقت بسیار بالایی قابلیت تشخیص و جداسازی داده‌های کاربران واقعی از باتها را دارد. با فعال سازی این گزینه میتوانید آمارهای مختلفی از جمله میزان ترافیک ورودی برروی وب سایت شما از طرف باتها، تشخیص اولیه و زودهنگام حمله، آمار کاربران واقعی و فعال که از وبسایت شما بازدید میکنند و … را مشخص کنید.
چگونه ترافیک بات می‌تواند به تجزیه و تحلیل ترافیک وبسایت آسیب برساند؟
بسیاری از تصمیمات بازاریابی دیجیتال و توسعه وبسایت از طریق تجزیه و تحلیل ترافیک ورودی وبسایت گرفته می‌شود. ترافیک غیرمجاز بات می‌تواند بر معیارهای تحلیلی مانند بازدید از صفحه، نرخ پرش، مدت زمان نشست، موقعیت جغرافیایی کاربران و نرخ تبدیل کاربران تاثیر بگذارد. انحراف در این معیارهای تجزیه و تحلیل وبسایت می‌تواند باعث ناامیدی کاربران شود. اندازه‌گیری عملکرد وب‌سایتی که باتها در آن فعالیت زیادی دارند بسیار سخت است. تلاش‌‌ها برای بهبود وبسایت مانند تست A/B و بهینه‌سازی نرخ تبدیل نیز توسط نویز آماری ایجاد شده توسط باتها فلج می‌شوند
نحوه فیلتر کردن ترافیک بات از گوگل آنالیتیکس
گوگل آنالیتیکس گزینه‌ای را تحت عنوان کنار گذاشتن تمام بازدیدها از باتها و اسپایدر‌های شناخته شده exclude all hits from known bots and spiders)) ارائه می‌کند. باتها و اسپایدرها بات‌های موتور جستجوی گوگل هستند که در صفحات وبسایت می‌خزند و آنها را ایندکس میکنند. اگر بتوان منبع ترافیک بات را شناسایی کرد، کاربران می‌توانند لیست خاصی از IPها را به گوگل آنالیتیکس ارائه دهند تا آنها را در آمار بازدیدها نادیده بگیرند.
این اقدام می‌تواند برخی از باتها را از ایجاد اختلال در تجزیه و تحلیل وبسایت بازدارد، اما همه باتها را متوقف نمی‌کند. علاوه بر این، بیشتر بات‌های مخرب هدفی غیر از ایجاد اختلال در تجزیه و تحلیل ترافیک یک وبسایت را دنبال میکنند. این اقدامات غیر از حفظ داده‌های تحلیلی، اقدامی را برای کاهش فعالیت‌های مضر باتها انجام نمی‌دهند.
چگونه ترافیک بات می‌تواند به عملکرد وبسایت آسیب برساند؟
ارسال حجم عظیمی از ترافیک بات یک روش بسیار رایج برای مهاجمان در راه‌اندازی یک حمله DDoS است. در برخی از انواع حملات DDoS، ترافیک زیادی از سمت باتها به یک وبسایت هدایت شده و باعث بارگذاری بیش از حد سرور می‌شود و وبسایت کند می‌گردد یا به طور کامل از کار می‌افتد.
چگونه ترافیک بات می‌تواند برای یک وبسایت تجاری مضر باشد؟
برخی از وب‌سایت‌ها ممکن است توسط ترافیک بات‌های مخرب از نظر مالی فلج شوند، حتی اگر عملکرد آنها تحت تاثیر قرار نگیرد و همچنان با سرعت مناسب به کاربران خود خدمات دهند. وب‌سایت‌هایی که به تبلیغات متکی هستند و یا کالاهایی را با موجودی محدود می‌فروشند، در برابر ترافیک بات آسیب‌پذیرتر هستند.
برای وب‌سایت‌هایی که ارائه‌دهنده تبلیغات هستند، بات‌هایی که در وبسایت قرار می‌گیرند و روی عناصر مختلف صفحه کلیک میکنند، می‌توانند باعث کلیک‌های جعلی تبلیغات شوند. این کلیک‌های جعلی به عنوان تقلب در تبلیغات کلیکی شناخته می‌شوند. این مساله ممکن است در ابتدا منجر به افزایش درآمد تبلیغاتی شود، اما شبکه‌های تبلیغات آنلاین در تشخیص کلیک‌های بات بسیار دقیق عمل میکنند. اگر شبکه‌های تبلیغات آنلاین به این موضوع مشکوک شوند که وب‌سایتی مرتکب تقلب در کلیک می‌شود، به طور معمول فعالیت آن وبسایت و مالک آن را در شبکه خود ممنوع میکنند. به همین دلیل، صاحبان وب‌سایتی که میزبان تبلیغات کلیکی هستند، باید همیشه مراقب تقلب در کلیک توسط باتها باشند.
تاثیر ترافیک بات بر وب‌سایت‌های فروش آنلاین
هنگامی که در یک وبسایت محصولی را به سبد خرید خود اضافه می‌کنید، این محصول تا مدت زمان مشخصی به صورت رزرو برای شما باقی می‌ماند تا پرداخت خود را انجام دهید. هنگامی که موجودی یک وبسایت محدود باشد، باتها می‌توانند این موجودی را احتکار کنند. همانطور که از نام آنها مشخص است، این باتها به سایت‌های تجارت الکترونیک می‌روند و با افزودن تعداد زیادی از کالاها به سبد خرید خود باعث می‌شوند که کاربران عادی نتوانند این اجناس را خریداری کنند. گاهی اوقات این امر باعث تجدید موجودی غیر‌ضروری از یک تامین‌کننده یا شرکت سازنده می‌شود. بات‌های احتکار موجودی هرگز خریدی را انجام نمی‌دهند. این باتها به گونه‌ای طراحی شده‌اند تا در دسترس بودن موجودی را مختل کنند؛ پس اگر نرخ پرش در صفحه سبد خرید وبسایت شما بالا بود، این مساله می‌تواند نشان‌دهنده وجود باتها در وبسایت شما باشد.
وب‌سایت‌ها چگونه می‌توانند ترافیک باتها را مدیریت کنند؟
اولین قدم برای متوقف کردن یا مدیریت ترافیک بات در یک وبسایت، گنجاندن یک فایل robots.txt در سرور وبسایت است. این فایل دستورالعمل‌هایی را برای خزیدن باتها در صفحه ارائه میدهد و می‌توان آن را طوری پیکره‌بندی کرد که از بازدید یا تعامل باتها با یک صفحه وب جلوگیری کند. اما لازم به ذکر است که فقط بات‌های خوب از قوانین موجود در این فایل پیروی میکنند و این قوانین مانع از خزیدن بات‌های خرابکار در یک وبسایت نمی‌شوند.
تعدادی از ابزارها می‌توانند به کاهش ترافیک بات‌های خرابکار کمک کنند. یک راه‌حل محدودکننده نرخ می‌تواند ترافیک باتی را که از یک آدرس IP نشات می‌گیرد را شناسایی کرده و از آن جلوگیری کند؛ اگرچه این امر همچنان بخش زیادی از ترافیک بات‌های مخرب را نادیده می‌گیرد. علاوه بر محدودیت نرخ، یک مهندس شبکه می‌تواند با بررسی ترافیک وبسایت درخواست‌های مشکوک شبکه را شناسایی کند. مهندس شبکه پس از شناسایی، فهرستی از آدرس‌های IP را ارائه میدهد که باید توسط یک ابزار فیلتر مانند WAF (web application firewall) مسدود شوند. این روش، کاری با فرآیند فشرده است و هنوز هم تنها بخشی از ترافیک بات‌های مخرب را متوقف می‌کند.
جدا از محدودیت نرخ و مداخله مستقیم مهندس شبکه، ساده‌ترین و موثرترین راه برای جلوگیری از ترافیک بات‌های خرابکار، راه‌حل مدیریت بات است. یک راه‌حل مدیریت بات می‌تواند از هوش مصنوعی و تجزیه و تحلیل رفتاری برای متوقف کردن بات‌های مخرب قبل از رسیدن به یک وبسایت استفاده کند. شبکه توزیع محتوای اَبر دِراک نیز با تفکیک ترافیک بات و کاربر به حفظ منابع وبسایت و صحت آمار ترافیک ورودی یک وبسایت کمک می‌کند. CDN ایرانی رایگان اَبر دِراک با داشتن مراکز داده در کشور ایران می‌تواند خدمات منحصربه‌فردی را به مدیران وب‌سایت‌ها ارائه کند.
سوالات متداول
ترافیک بات چیست؟
ترافیک بات به هر گونه ترافیک غیرانسانی در یک وبسایت یا برنامه اشاره دارد. در واقع، ترافیک بات یک امر بسیار عادی در اینترنت است. اگر صاحب یک وبسایت هستید، باید این نکته را بدانید که قطعا بات‌های زیادی از وبسایت شما بازدید کرده‌اند. در حقیقت، ترافیک باتها بیش از 40 درصد از کل ترافیک اینترنت در سال 2022 را تشکیل می‌دهند.
چگونه میتوانید ترافیک بات را در گوگل آنالیتیکس فیلتر کنید؟
ساده‌ترین راه برای دور نگه داشتن ترافیک بات از گزارش‌های آنالیتیکس، استفاده از فیلتر خودکار گوگل است. براه راه‌اندازی این فیلتر، به تنظیمات گوگل آنالیتیکس خود بروید و گزینه (Exclude all hits from known bots and spiders) را تیک بزنید.
روش‌های تفکیک ترافیک بات و کاربر کدامند؟
استفاده از فایل robots.txt، استفاده از فایروال برنامه وب برای فیلتر کردن IPها، راه‌حل‌های مدیریت بات مانند استفاده از CDN
منابع:
https://www.cloudflare.com/learning/bots/what-is-bot-traffic
