22 января в авторитетном научном журнале Science был опубликован комментарий, описывающий возникновение новой угрозы в сфере информационной безопасности — «роев ИИ». Это масштабные группы агентов искусственного интеллекта, работающие на базе больших языковых моделей (LLM), которые способны массово внедряться в социальные сети. Они представляют собой передовой фронт информационной войны, разработанный для распространения ложных нарративов, преследования пользователей и подрыва демократических процессов. В отличие от ботов прошлого поколения, эти рои умело имитируют человеческое поведение, чтобы избежать обнаружения и создать полную иллюзию аутентичных общественных движений.
Йонас Кунст, профессор коммуникации из Норвежской бизнес-школы BI и соавтор публикации, объясняет механизм воздействия таких систем через концепцию «пасения стада». Рои эксплуатируют человеческий конформизм: создавая искусственный консенсус вокруг определенной точки зрения, они взламывают естественную склонность людей полагать, что мнение большинства имеет ценность. Кунст предупреждает, что человеческая психика легко поддается такому «угону», что требует немедленной и проактивной подготовки к подобным атакам.
Помимо мягкого манипулирования мнением, рои ИИ способны действовать агрессивно, превращаясь в «разъяренные толпы». Они могут целенаправленно преследовать несогласных индивидуумов, вытесняя их с платформ для защиты продвигаемого нарратива. Исследователи характеризуют этот процесс как «когнитивную войну», где главным оружием становится способность искусственного интеллекта функционировать в режиме 24/7. Это дает машине неоспоримое преимущество перед живыми пользователями, чье время и энергия ограничены. Система описывается как «самодостаточный организм», который координирует свои действия, обучается и специализируется на поиске уязвимостей.
Доказательства эффективности подобных технологий уже существуют. В прошлом году платформа Reddit угрожала судебным преследованием исследователям, которые использовали чат-ботов с ИИ на форуме r/changemyview, аудитория которого составляет около 4 миллионов пользователей. Предварительные результаты того эксперимента показали пугающую статистику: агенты ИИ оказались в 3–6 раз убедительнее реальных людей в спорах и аргументации. Масштаб потенциальных роев может варьироваться от сотен до миллионов агентов в зависимости от задействованных вычислительных мощностей.
Ведущий автор комментария Даниэль Шредер из исследовательской организации SINTEF проводит четкую грань между обычными ботами и роями нового поколения. Традиционные боты выполняли простые, повторяющиеся задачи и требовали человеческой координации для масштабирования. Новые же системы самокоординируются, адаптируются к конкретным сообществам и поддерживают уникальные персоны с памятью и идентичностью. «Чем сложнее эти боты, тем меньше их вам нужно», — отмечает Шредер, подчеркивая, что высокая изощренность позволяет достигать целей меньшим числом единиц.
В тексте также упоминается контекст «теории мертвого интернета» — конспирологической гипотезы, согласно которой боты уже составляют большинство создателей контента в сети. Журналисты Live Science, проводившие интервью с исследователями, отмечают неопределенность временных рамок: ученые не называют точной даты начала вторжения. Неясно, прибыли ли рои уже, так как их обнаружение крайне затруднительно, и они могут быть активны в данный момент.
В качестве мер противодействия предлагается несколько стратегий, включая сканирование живого трафика на предмет статистических аномалий и внедрение улучшенной аутентификации, заставляющей пользователей доказывать, что они люди. Однако последний метод имеет недостатки: он может препятствовать политическому инакомыслию в репрессивных режимах, а подлинные аккаунты все равно могут быть взломаны или проданы.
Центральным предложением экспертов является создание «Обсерватории влияния ИИ» (AI Influence Observatory). Эта новая институция должна объединить усилия НПО, академических кругов и различных организаций для мониторинга цифрового пространства. Главная цель такой экосистемы — выявлять угрозы и реагировать на них до того, как они смогут нарушить ход выборов или дестабилизировать общество.
Изображение носит иллюстративный характер
Йонас Кунст, профессор коммуникации из Норвежской бизнес-школы BI и соавтор публикации, объясняет механизм воздействия таких систем через концепцию «пасения стада». Рои эксплуатируют человеческий конформизм: создавая искусственный консенсус вокруг определенной точки зрения, они взламывают естественную склонность людей полагать, что мнение большинства имеет ценность. Кунст предупреждает, что человеческая психика легко поддается такому «угону», что требует немедленной и проактивной подготовки к подобным атакам.
Помимо мягкого манипулирования мнением, рои ИИ способны действовать агрессивно, превращаясь в «разъяренные толпы». Они могут целенаправленно преследовать несогласных индивидуумов, вытесняя их с платформ для защиты продвигаемого нарратива. Исследователи характеризуют этот процесс как «когнитивную войну», где главным оружием становится способность искусственного интеллекта функционировать в режиме 24/7. Это дает машине неоспоримое преимущество перед живыми пользователями, чье время и энергия ограничены. Система описывается как «самодостаточный организм», который координирует свои действия, обучается и специализируется на поиске уязвимостей.
Доказательства эффективности подобных технологий уже существуют. В прошлом году платформа Reddit угрожала судебным преследованием исследователям, которые использовали чат-ботов с ИИ на форуме r/changemyview, аудитория которого составляет около 4 миллионов пользователей. Предварительные результаты того эксперимента показали пугающую статистику: агенты ИИ оказались в 3–6 раз убедительнее реальных людей в спорах и аргументации. Масштаб потенциальных роев может варьироваться от сотен до миллионов агентов в зависимости от задействованных вычислительных мощностей.
Ведущий автор комментария Даниэль Шредер из исследовательской организации SINTEF проводит четкую грань между обычными ботами и роями нового поколения. Традиционные боты выполняли простые, повторяющиеся задачи и требовали человеческой координации для масштабирования. Новые же системы самокоординируются, адаптируются к конкретным сообществам и поддерживают уникальные персоны с памятью и идентичностью. «Чем сложнее эти боты, тем меньше их вам нужно», — отмечает Шредер, подчеркивая, что высокая изощренность позволяет достигать целей меньшим числом единиц.
В тексте также упоминается контекст «теории мертвого интернета» — конспирологической гипотезы, согласно которой боты уже составляют большинство создателей контента в сети. Журналисты Live Science, проводившие интервью с исследователями, отмечают неопределенность временных рамок: ученые не называют точной даты начала вторжения. Неясно, прибыли ли рои уже, так как их обнаружение крайне затруднительно, и они могут быть активны в данный момент.
В качестве мер противодействия предлагается несколько стратегий, включая сканирование живого трафика на предмет статистических аномалий и внедрение улучшенной аутентификации, заставляющей пользователей доказывать, что они люди. Однако последний метод имеет недостатки: он может препятствовать политическому инакомыслию в репрессивных режимах, а подлинные аккаунты все равно могут быть взломаны или проданы.
Центральным предложением экспертов является создание «Обсерватории влияния ИИ» (AI Influence Observatory). Эта новая институция должна объединить усилия НПО, академических кругов и различных организаций для мониторинга цифрового пространства. Главная цель такой экосистемы — выявлять угрозы и реагировать на них до того, как они смогут нарушить ход выборов или дестабилизировать общество.
