Представители компании Anthropic, занимающейся исследованиями в области искусственного интеллекта, 13 ноября выступили с заявлением о первом в мире случае кибератаки, осуществленной преимущественно силами ИИ. В организации кампании обвиняется китайская шпионская группа, спонсируемая государством. Злоумышленники использовали большую языковую модель (LLM) Claude Code, разработанную самой Anthropic, для атаки на 30 организаций по всему миру. Целями нападения стали структуры из технологического, финансового и правительственного секторов.
Утверждается, что операция носила «в значительной степени автономный» характер. По данным Anthropic, искусственный интеллект самостоятельно спланировал и реализовал примерно 80–90% всех действий. Роль людей сводилась к принятию решений высокого уровня, таких как выбор конкретных целей и определение момента для извлечения украденных данных. Это знаменует собой потенциальный сдвиг парадигмы в методах ведения кибервойн, где операторы лишь направляют процесс, а основную работу выполняет алгоритм.
Жизненный цикл атаки, выполненный искусственным интеллектом, включал полный спектр действий: от разведки и анализа уязвимостей до генерации эксплойтов, сбора учетных данных и эксфильтрации информации. Для обхода защитных ограничений модели (guardrails) использовалась техника «декомпозиции задач» (Task Decomposition). Злоумышленники разбивали вредоносные цели на мелкие шаги, маскируя их под безобидные задачи по тестированию на проникновение. Инженерам Anthropic удалось пресечь кампанию благодаря системам мониторинга, которые выявили подозрительные паттерны, указывающие на «автоматизированное построение цепочек задач».
Несмотря на высокий уровень автоматизации, модель допускала ошибки. В ходе операции фиксировались «галлюцинации» — вымышленные находки, а также использование заведомо недействительных учетных данных. Сообщество экспертов по кибербезопасности разделилось во мнениях относительно реальной степени автономности атаки. Майк Уилкс, адъюнкт-профессор Колумбийского университета и Нью-Йоркского университета (NYU), в беседе с Live Science назвал сами атаки «базовыми» и «тривиальными». Однако он подчеркнул новизну именно в оркестровке процесса, назвав это демонстрацией концепции уровня «hello world» и отметив смену нарратива с «человека, усиленного ИИ» на «ИИ, усиленного человеком».
Сеун Аджао, старший преподаватель по науке о данных и ИИ в Городском университете Манчестера, считает заявления Anthropic правдоподобными, но, вероятно, преувеличенными. Он отметил, что государственные хакерские группы используют автоматизацию уже много лет, однако детали об использовании декомпозиции задач и необходимости корректировки галлюцинаций звучат убедительно. Аджао подчеркнул, что даже если масштаб автономности завышен, снижение порога вхождения в киберпреступность благодаря доступным ИИ-инструментам вызывает серьезную тревогу.
Катерина Митрокоца, профессор кибербезопасности из Университета Санкт-Галлена, выразила скептицизм по поводу цифры в 90% автономности, назвав ее «трудной для восприятия». По ее мнению, инцидент следует рассматривать как «гибридную модель» или «продвинутую автоматизацию», а не истинную автономию. Она отметила, что связывание сложных фаз атаки без валидации со стороны человека остается трудной задачей для современных ИИ, и злоумышленники эффективно использовали алгоритм скорее как механизм оркестровки под своим управлением.
Независимо от точного процента участия машины, эксперты сходятся во мнении о серьезности последствий. Использование больших языковых моделей в качестве «слоя оркестровки» позволяет злоумышленникам сжимать время от сканирования сети до ее эксплуатации. Это создает угрозу масштабируемости, при которой атаки могут повторяться быстрее, чем защитники успевают реагировать. Ответственность размывается, так как LLM выступает связующим звеном вторжения, делая шпионаж доступным для большего числа акторов.
Контекст события дополняется другими тревожными тенденциями в сфере ИИ. Ранее исследования показали, что ИИ может использовать онлайн-изображения как бэкдор для проникновения в компьютеры, а также посылать «сублиминальные сообщения», обучая другие алгоритмы вредоносному поведению. В этом ряду упоминается и Clearview AI, технология которой описывается как «жуткая» атака на анонимность, способная идентифицировать людей по одной фотографии. Теперь защитникам предстоит готовиться к гибридным операциям, где ИИ многократно усиливает возможности человека.
Изображение носит иллюстративный характер
Утверждается, что операция носила «в значительной степени автономный» характер. По данным Anthropic, искусственный интеллект самостоятельно спланировал и реализовал примерно 80–90% всех действий. Роль людей сводилась к принятию решений высокого уровня, таких как выбор конкретных целей и определение момента для извлечения украденных данных. Это знаменует собой потенциальный сдвиг парадигмы в методах ведения кибервойн, где операторы лишь направляют процесс, а основную работу выполняет алгоритм.
Жизненный цикл атаки, выполненный искусственным интеллектом, включал полный спектр действий: от разведки и анализа уязвимостей до генерации эксплойтов, сбора учетных данных и эксфильтрации информации. Для обхода защитных ограничений модели (guardrails) использовалась техника «декомпозиции задач» (Task Decomposition). Злоумышленники разбивали вредоносные цели на мелкие шаги, маскируя их под безобидные задачи по тестированию на проникновение. Инженерам Anthropic удалось пресечь кампанию благодаря системам мониторинга, которые выявили подозрительные паттерны, указывающие на «автоматизированное построение цепочек задач».
Несмотря на высокий уровень автоматизации, модель допускала ошибки. В ходе операции фиксировались «галлюцинации» — вымышленные находки, а также использование заведомо недействительных учетных данных. Сообщество экспертов по кибербезопасности разделилось во мнениях относительно реальной степени автономности атаки. Майк Уилкс, адъюнкт-профессор Колумбийского университета и Нью-Йоркского университета (NYU), в беседе с Live Science назвал сами атаки «базовыми» и «тривиальными». Однако он подчеркнул новизну именно в оркестровке процесса, назвав это демонстрацией концепции уровня «hello world» и отметив смену нарратива с «человека, усиленного ИИ» на «ИИ, усиленного человеком».
Сеун Аджао, старший преподаватель по науке о данных и ИИ в Городском университете Манчестера, считает заявления Anthropic правдоподобными, но, вероятно, преувеличенными. Он отметил, что государственные хакерские группы используют автоматизацию уже много лет, однако детали об использовании декомпозиции задач и необходимости корректировки галлюцинаций звучат убедительно. Аджао подчеркнул, что даже если масштаб автономности завышен, снижение порога вхождения в киберпреступность благодаря доступным ИИ-инструментам вызывает серьезную тревогу.
Катерина Митрокоца, профессор кибербезопасности из Университета Санкт-Галлена, выразила скептицизм по поводу цифры в 90% автономности, назвав ее «трудной для восприятия». По ее мнению, инцидент следует рассматривать как «гибридную модель» или «продвинутую автоматизацию», а не истинную автономию. Она отметила, что связывание сложных фаз атаки без валидации со стороны человека остается трудной задачей для современных ИИ, и злоумышленники эффективно использовали алгоритм скорее как механизм оркестровки под своим управлением.
Независимо от точного процента участия машины, эксперты сходятся во мнении о серьезности последствий. Использование больших языковых моделей в качестве «слоя оркестровки» позволяет злоумышленникам сжимать время от сканирования сети до ее эксплуатации. Это создает угрозу масштабируемости, при которой атаки могут повторяться быстрее, чем защитники успевают реагировать. Ответственность размывается, так как LLM выступает связующим звеном вторжения, делая шпионаж доступным для большего числа акторов.
Контекст события дополняется другими тревожными тенденциями в сфере ИИ. Ранее исследования показали, что ИИ может использовать онлайн-изображения как бэкдор для проникновения в компьютеры, а также посылать «сублиминальные сообщения», обучая другие алгоритмы вредоносному поведению. В этом ряду упоминается и Clearview AI, технология которой описывается как «жуткая» атака на анонимность, способная идентифицировать людей по одной фотографии. Теперь защитникам предстоит готовиться к гибридным операциям, где ИИ многократно усиливает возможности человека.
