Все новости
Бот еще: чем опасна для бизнеса «забытая» автоматизация
Некоторое время назад, связывая защиту от DDoS-атак и бот-атак для крупной компании электронной коммерции, мы обнаружили значительную автоматизированную активность в подсети крупного кредитного бюро. Выяснилось, что на нашего клиента на самом деле атаковал некий банк, регулярно отправляя ему в сервис множество запросов. Большая нагрузка на клиентские серверы была заметна в часы пик. Это не привело к недоступности или заметному снижению производительности веб-сайтов и мобильных приложений клиента из-за наличия больших свободных мощностей.
Как показал дальнейший совместный анализ с заказчиком, причиной этой «злонамеренной» деятельности стали не хакеры, диверсанты-сотрудники того же банка или конкурентов, а проявление элементарной невнимательности и неупорядоченности при создании и поддержке автоматизации. Ну а периодические атаки — это вообще не атаки, а просто жадная и невероятно настойчивая автоматизация, о которой забыли полтора года назад. Нельзя сказать, что мы были очень удивлены. Каждая третья компания, подключающая решение для защиты от ботов или DDoS-атак на уровне приложений, сталкивается с тем или иным объемом трафика аналогичного характера.
По сути, одним из этапов подключения ресурсов для защиты от широкого спектра противоправных действий является «обучение» решениям по работе с клиентским трафиком. Эксперты анализируют полученный трафик за несколько дней и делят его на группы. Группа трафика «Браузер» вообще самая понятная и предсказуемая. Используя стандартный браузер (Яндекс.Браузер, Chrome, Firefox и т.п.), пользователь отправляет запрос в клиентский сервис. Группы клиентских мобильных приложений известны самой компании, а антиботы обучены на их трафике, поэтому хорошо дифференцированы.
Все становится немного сложнее, когда вы используете автоматизированные действия. Это может быть законным или незаконным. Примером явно легитимной автоматизации являются запросы поисковых систем. Но помимо этого есть и другие автоматизации, которые в простейшем случае выглядят как постоянно или периодически появляющийся трафик из известной подсети хостинга, отправляющий множество однотипных запросов. Фактически, крупные и средние сервисы обычно также имеют полезные функции автоматизации. Когда боты запрашивают информацию для разных целей и задач, в рамках партнерства со сторонними сервисами и даже внутри разных сервисов одной группы компаний.
По сути, при подготовке трафика для нового сервиса наши специалисты участвуют в процессе аудита всей существующей автоматизации. Параметры автоматизации (называемые «Подсеть источника трафика», «Тип агента» и «Метод характеристики нагрузки») выделены. Затем клиентский инженер должен сказать: «Это наша автоматизация, давайте пропустим ее» или «Я ее удалю». Фактически в каждом третьем случае ИТ-представитель заказчика помимо ожиданий отвечает следующее: «Да, это наш Zabbix» и «Это точно бот». Давным-давно мы использовали старую, медленную версию API, что добавляло нам стресса». Или даже так: «Похоже, что его настроила команда, которая давно ушла, и это не понятно. почему он работает и какая в этом польза. Теперь мы просто отметим его как подозрительный и проведем последующую проверку. Мы решим, что с ним делать». И почти в каждой крупной компании мы сталкиваемся с ситуациями, когда инженеры говорят: «Да, это наши партнеры, но мы почему-то с ними не договорились: «Я пойду с вами это решать».
Забытые ботнеты не так безобидны, как кажутся на первый взгляд. Зачастую выживают те запросы, которые никогда не загружают сервис тысячами пользователей, но теперь они резко замедляют работу систем, которые запоминают миллионы клиентов, продуктов, транзакций и других объектов. И эта автоматизация годами потребляет вычислительные ресурсы. В некоторых случаях некогда полезная автоматизация, которая стала неактуальной, но продолжает работать, может составлять до 30% общего трафика, что уже создает значительную нагрузку на серверы. И чем крупнее сервис, чем дольше он живет и чем больше он сотрудничает с сервисами других команд и компаний, тем больше вероятность, что вы столкнетесь с «забытой» автоматизацией.
Опыт показывает, что если сервис запущен 3-4 года назад, имеет десятки тысяч уникальных пользователей в неделю и сотрудничает с сервисами-партнерами, то такая необъяснимая автоматизация встречается почти всегда, и ни одного экземпляра не существует. А если ваша ИТ-команда менялась более одного раза, возможно, вы не сможете определить, когда и кем было принято решение об установлении взаимодействия с одним и тем же партнером, как в случае с клиентами электронной коммерции. Это банк, но после 3-недельного процесса соединение отключилось, но это ни на что не повлияло. Просто снизилась нагрузка.
Суть появления «забытой» автоматизации – отсутствие учета и размытие границ ответственности в сочетании с рациональным принципом «зачем ломать то, что работает». Пока можно обойти эту проблему, купив дополнительную мощность. Обычно это проще и дешевле. Но даже в этом случае, если вы не проводите регулярную очистку своих сервисов и не выделяете ресурсы на аудит и инвентаризацию, ваше техническое долговое бремя может оказаться неприемлемым. Как показывает практика, после того, как внутренние или внешние обстоятельства наводят порядок на ресурсах, сервис начинает «дышать» свободнее. Устраняются ошибки мониторинга, снижается нагрузка на сервер и улучшается время отклика.
Мнения редактора могут не совпадать с точкой зрения автора.