Утро понедельника, которое выводит из себя
Открываешь Яндекс.Метрику или Google Analytics в понедельник утром, смотришь на график посещаемости за выходные — и глазам не веришь. Посещаемость взлетела на 40%, среднее время на сайте — 0 секунд. Радуешься, показываешь отчет начальству, а потом замечаешь: половина сессий длится меньше секунды, а источник трафика — "прямой заход" с IP-адресом, который явно принадлежит какому-то дата-центру в Нидерландах.
Знакомо? Это не пользователи. Это боты. Поисковые роботы, AI-парсеры, скрейперы и headless-браузеры. Они качают твой контент, проверяют ссылки, собирают данные для обучения нейросетей. А ты сидишь и гадаешь, почему конверсия упала, хотя трафик растет.
KinMetric решает эту проблему раз и навсегда. Функция Bot Filter — это не просто галочка в настройках, а полноценный детектор, который отсекает более 50 типов ботов и парсеров. И главное — делает это до того, как они попадут в твои ключевые метрики.
Что именно мы отсекаем: от Яндекса до ChatGPT
Список внушительный, но давай по порядку. KinMetric блокирует три большие категории ботов.
Поисковые роботы. Тут всё стандартно: YandexBot (включая RenderResources, Images, News), Googlebot, Bingbot. Но мы не просто смотрим на user-agent. Мы отслеживаем поведение. Например, YandexBot любит отправлять запросы на рендеринг страниц отдельно — это тоже попадает под фильтр.
AI-парсеры. Вот где сейчас настоящий зоопарк. GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider (Bytedance), Meta-ExternalAgent, CCBot (Common Crawl). Эти ребята приходят не просто проиндексировать страницу — они выкачивают контент для обучения больших языковых моделей. Если ты ведешь блог или продаешь экспертный контент, эти боты могут сожрать половину твоего трафика.
Headless-браузеры и скрипты. Puppeteer, Playwright, Selenium. А также классические инструменты: Curl, Python-requests, Wget. Они маскируются под обычных пользователей, но выдают себя поведением — слишком быстрыми переходами, отсутствием скролла, странными временными метками.
В сумме мы отфильтровываем более 50 конкретных юзер-агентов и паттернов. И это только первая линия обороны.
Поведенческая фильтрация: когда бот притворяется человеком
Самые хитрые боты не светят свой user-agent. Они запускают headless-браузер с нормальным заголовком Chrome или Safari. Как их поймать?
KinMetric использует поведенческий анализ. Если посетитель отправляет больше 5 событий за 10 секунд — это подозрительно. Обычный пользователь не кликает пять раз подряд за десять секунд, не перезагружает страницу и не шлет запросы API с такой скоростью. Второй маркер — heartbeat (сигнал "я все еще здесь"). Если ты получаешь больше одного heartbeat за 25 секунд — это почти наверняка бот. Человек читает статью, он не стучит каждые 25 секунд.
Такие визиторы получают тег "behavioral bot" и тоже исключаются из основной статистики. При этом ты видишь их в отдельной карточке — чтобы понимать масштаб атаки, но не портить себе KPI.
Реальный кейс: как 37% трафика оказались ботами
Недавно подключали KinMetric к проекту — интернет-магазин автозапчастей. Средний трафик — 15 000 визитов в месяц. Владелец жаловался: "Конверсия упала с 2.5% до 1.8%, а трафик вроде растет".
После включения Bot Filter выяснилась картина. Из 15 000 визитов 5 600 были ботами. Это 37%. Основные источники: AhrefsBot (проверял ссылки), SemrushBot (аудит SEO), Bytespider (собирал описания товаров для обучения AI) и куча headless-браузеров, которые просто перебирали страницы каталога.
После фильтрации реальная посещаемость оказалась 9 400 человек. Конверсия пересчиталась — 2.4%. Всё встало на свои места. Владелец перестал паниковать, а мы начали нормально анализировать, откуда приходят живые клиенты.
Кстати, карточка "Bot traffic" показала, что больше всего мусора давали AI-парсеры — 34% от всех ботов. Это тренд, который будет только расти.
Как это работает: пошаговая инструкция
Включение Bot Filter в KinMetric занимает две минуты. Никаких танцев с бубном и регулярных выражений.
- Зайди в дашборд своего сайта. После регистрации ты попадаешь на главную панель. Там уже висит карточка "Bot traffic" — она показывает количество ботов за последние 24 часа, но пока без фильтрации.
- Перейди в настройки фильтрации. Нажми на шестеренку в правом верхнем углу карточки. Откроется страница с тремя вкладками: "User-agent", "Behavioral", "IP blacklist".
- Включи пресеты. Вкладка "User-agent" — там стоит галочка "Filter known bots". Она уже включена по умолчанию. Если хочешь — можешь убрать отдельных ботов из списка (например, оставить Googlebot для SEO-анализа). Но мы рекомендуем оставить все.
- Активируй поведенческий детектор. Переключи тумблер "Behavioral bot detection". Поставь лимиты: 5 событий за 10 секунд, 1 heartbeat за 25 секунд. Это стандартные настройки, они работают для 95% сайтов.
- Сохрани и проверь. Через 15 минут в карточке "Bot traffic" появятся первые данные. Ты увидишь, сколько ботов отфильтровано, какие типы преобладают. Основные метрики (визиты, конверсия, время на сайте) автоматически пересчитаются без учета ботов.
Всё. Дальше аналитика становится честной. Ты видишь только живых людей.
Что ты получаешь на выходе
Первое — чистую статистику без инфляции ботами. Ты перестаешь гадать, почему трафик скачет, и начинаешь видеть реальное поведение пользователей. Это особенно важно, если ты считаешь CAC (стоимость привлечения клиента) или LTV (пожизненную ценность). Боты завышают эти метрики, и ты принимаешь неверные решения.
Второе — отдельный блок для анализа ботов. Ты видишь, какие боты приходят, как часто, какие страницы атакуют. Это полезно для безопасности: если какой-то AI-парсер начал качать твой контент слишком агрессивно, ты можешь заблокировать его IP через ту же панель.
Третье — спокойствие. Больше не нужно каждое утро проверять, не накрутил ли кто-то ботов на твой сайт. KinMetric делает это за тебя.
Кстати, функция работает на всех тарифах, включая бесплатный. Так что можешь попробовать прямо сейчас и увидеть, сколько мусора приходит на твой сайт.
Подробнее про техническую реализацию и список всех фильтруемых ботов — в каталоге функций. Там же есть сравнительная таблица с другими сервисами.
Если хочешь понять, как фильтрация повлияет на твои рекламные кампании и SEO-отчеты — посмотри раздел тарифов. На высоких нагрузках мы даем расширенные лимиты по событиям, чтобы поведенческий анализ работал без задержек.