В Сан-Франциско на 3 и 4 марта 2026 года запланирована конференция [un]prompted 2026, собравшая специалистов по безопасности, исследователей, разработчиков и политических деятелей. Организаторы мероприятия получили почти 500 заявок на выступления от участников рынка. На площадке ожидается присутствие представителей OpenAI, NVIDIA, Anthropic и TrendAI™. Главным вектором обсуждения станет переход от базового мониторинга моделей к комплексному подходу в защите искусственного интеллекта и формирование честного диалога об отрасли без лишней шумихи.
Специалисты TrendAI™ сфокусировались на двух практических направлениях: масштабной защите нейросетей и поиске уязвимостей в их архитектуре. Сценарий потенциальных атак на алгоритмы расширяется пропорционально росту самих систем. Организациям требуются реальные исследования и практические защитные меры вместо теоретических изысканий, чтобы успевать за изменениями ландшафта угроз.
Главный исследователь угроз в TrendAI™ Шон Парк подготовил для мероприятия доклад «Когда паспорта выполняются: эксплуатация конвейеров KYC на базе ИИ». Привычные статичные данные в современных условиях получили свойства программного кода. Конвейеры «Знай своего клиента» (KYC) перестали быть инструментами исключительно для чтения текста, превратившись в среды выполнения с высокими ставками.
Документы вроде фотографий удостоверений личности могут содержать скрытые инъекты. Эти незаметные элементы заставляют ИИ-агента считывать и записывать информацию в разных учетных записях клиентов. Происходит кража данных без обхода классических систем контроля. Если алгоритм умеет читать документы и обращаться к инструментам, эти файлы становятся исполняемой поверхностью атаки даже при наличии строгих схем.
Для изучения механики таких инъектов исследователи провели 2600 автоматизированных тестов. Проверки затронули 13 различных моделей и зафиксировали высокий процент успешных проникновений. Рутинные процедуры верификации документов превратились в потенциальные точки входа для взломщиков. Кибербезопасности придется отказаться от восприятия конвейеров искусственного интеллекта как простых задач мониторинга.
Защита таких систем требует скорости, опережающей действия злоумышленников. Старший менеджер по поиску угроз Питер Гирнус и исследователь угроз Деменг Чен из TrendAI™ анонсировали сессию «FENRIR: ИИ охотится за уязвимостями нулевого дня ИИ в больших масштабах». Авторы настаивают на использовании автоматизированного агентного ИИ для противодействия угрозам, так как люди не способны обеспечить нужный масштаб проверок в одиночку.
Система FENRIR представляет собой многоуровневый конвейер для исследования уязвимостей. Она создана для поиска слабых мест в экосистеме ИИ и протоколе контекста модели (Model Context Protocol, MCP). Архитектура масштабируется от статического анализа до проверки человеком, обрабатывая большие кодовые базы с помощью инструментов CodeQL, Semgrep, YARA-X и SpotBugs.
В процессе обработки данных задействованы два уровня логических рассуждений больших языковых моделей. При обнаружении истинно положительного результата система передает аналитику доказательство эксплойта, автоматический отчет и артефакты об угрозах. Инструмент отсеивает более 90% ложных срабатываний до того, как к работе приступит человек.
Конвейер уже помог выявить более 60 опубликованных CVE (общих уязвимостей и воздействий) в компонентах ИИ и MCP. Еще более 100 дополнительных уязвимостей находятся на стадии предварительного раскрытия в рамках программы Zero Day Initiative (ZDI). Свыше 3000 находок прямо сейчас стоят в очереди на дальнейшее изучение специалистами.
Изображение носит иллюстративный характер
Специалисты TrendAI™ сфокусировались на двух практических направлениях: масштабной защите нейросетей и поиске уязвимостей в их архитектуре. Сценарий потенциальных атак на алгоритмы расширяется пропорционально росту самих систем. Организациям требуются реальные исследования и практические защитные меры вместо теоретических изысканий, чтобы успевать за изменениями ландшафта угроз.
Главный исследователь угроз в TrendAI™ Шон Парк подготовил для мероприятия доклад «Когда паспорта выполняются: эксплуатация конвейеров KYC на базе ИИ». Привычные статичные данные в современных условиях получили свойства программного кода. Конвейеры «Знай своего клиента» (KYC) перестали быть инструментами исключительно для чтения текста, превратившись в среды выполнения с высокими ставками.
Документы вроде фотографий удостоверений личности могут содержать скрытые инъекты. Эти незаметные элементы заставляют ИИ-агента считывать и записывать информацию в разных учетных записях клиентов. Происходит кража данных без обхода классических систем контроля. Если алгоритм умеет читать документы и обращаться к инструментам, эти файлы становятся исполняемой поверхностью атаки даже при наличии строгих схем.
Для изучения механики таких инъектов исследователи провели 2600 автоматизированных тестов. Проверки затронули 13 различных моделей и зафиксировали высокий процент успешных проникновений. Рутинные процедуры верификации документов превратились в потенциальные точки входа для взломщиков. Кибербезопасности придется отказаться от восприятия конвейеров искусственного интеллекта как простых задач мониторинга.
Защита таких систем требует скорости, опережающей действия злоумышленников. Старший менеджер по поиску угроз Питер Гирнус и исследователь угроз Деменг Чен из TrendAI™ анонсировали сессию «FENRIR: ИИ охотится за уязвимостями нулевого дня ИИ в больших масштабах». Авторы настаивают на использовании автоматизированного агентного ИИ для противодействия угрозам, так как люди не способны обеспечить нужный масштаб проверок в одиночку.
Система FENRIR представляет собой многоуровневый конвейер для исследования уязвимостей. Она создана для поиска слабых мест в экосистеме ИИ и протоколе контекста модели (Model Context Protocol, MCP). Архитектура масштабируется от статического анализа до проверки человеком, обрабатывая большие кодовые базы с помощью инструментов CodeQL, Semgrep, YARA-X и SpotBugs.
В процессе обработки данных задействованы два уровня логических рассуждений больших языковых моделей. При обнаружении истинно положительного результата система передает аналитику доказательство эксплойта, автоматический отчет и артефакты об угрозах. Инструмент отсеивает более 90% ложных срабатываний до того, как к работе приступит человек.
Конвейер уже помог выявить более 60 опубликованных CVE (общих уязвимостей и воздействий) в компонентах ИИ и MCP. Еще более 100 дополнительных уязвимостей находятся на стадии предварительного раскрытия в рамках программы Zero Day Initiative (ZDI). Свыше 3000 находок прямо сейчас стоят в очереди на дальнейшее изучение специалистами.
