Современные системы искусственного интеллекта, несмотря на свой потенциал, несут в себе и значительные риски безопасности. Недавние исследования выявили серьезные уязвимости в популярных фреймворках и инструментах, подчеркивая необходимость усиления внимания к защите ИИ-инфраструктуры.
Одной из наиболее тревожных находок стала уязвимость удаленного выполнения кода (RCE) во фреймворке Llama от М⃰. Эта уязвимость, получившая идентификатор CVE-2024-50050 и оценку CVSS 6.3 от М⃰ (но критическую 9.3 от Snyk), обнаруженная исследователем Avi Lumelsky из Oligo Security, связана с небезопасной десериализацией данных. API-интерфейсы Llama Stack, используемые для разработки ИИ-приложений, применяют Python-модуль
Другой серьезной угрозой стала DDoS-уязвимость в поисковом роботе ChatGPT от OpenAI. Исследователь Benjamin Flesch обнаружил, что некорректная обработка HTTP POST-запросов к API
Эти инциденты подчеркивают, что LLM не создают принципиально новых видов атак, а, скорее, усиливают существующие, делая их более эффективными и точными. По словам исследователей Joe Leon и Mark Vaitzman из Deep Instinct, LLM могут быть интегрированы в каждый этап жизненного цикла атаки, от разведки до эксплуатации. Более того, LLM могут воспроизводить «небезопасные практики программирования», на которых они сами были обучены.
В связи с растущей угрозой безопасности ИИ-систем, особое значение приобретает возможность отслеживания происхождения и архитектуры моделей. Метод ShadowGenes, разработанный компанией HiddenLayer, позволяет идентифицировать архитектуру, тип и семейство моделей на основе анализа вычислительных графов. Этот метод, базирующийся на ранее раскрытой технике атаки ShadowLogic, отслеживает повторяющиеся паттерны и позволяет организациям лучше понимать свою ИИ-инфраструктуру, улучшая тем самым управление безопасностью.
Стоит отметить, что уязвимости в области ИИ не ограничиваются новейшими инструментами. В августе 2024 года компания Oligo Security обнаружила «теневую уязвимость» в Keras, фреймворке TensorFlow (CVE-2024-3660, CVSS 9.8). Эта уязвимость, связанная с использованием небезопасного модуля
Таким образом, обеспечение безопасности ИИ-систем требует комплексного подхода, включающего в себя своевременное исправление уязвимостей, использование безопасных практик разработки, а также применение методов отслеживания и анализа архитектуры моделей. Игнорирование этих аспектов может привести к серьезным последствиям для организаций и пользователей.
Изображение носит иллюстративный характер
Одной из наиболее тревожных находок стала уязвимость удаленного выполнения кода (RCE) во фреймворке Llama от М⃰. Эта уязвимость, получившая идентификатор CVE-2024-50050 и оценку CVSS 6.3 от М⃰ (но критическую 9.3 от Snyk), обнаруженная исследователем Avi Lumelsky из Oligo Security, связана с небезопасной десериализацией данных. API-интерфейсы Llama Stack, используемые для разработки ИИ-приложений, применяют Python-модуль
pickle для обработки данных, что позволяет злоумышленнику, отправляя вредоносные объекты через сокет ZeroMQ (библиотеку pyzmq), если он доступен по сети, выполнить произвольный код на сервере. М⃰ оперативно устранила уязвимость, заменив pickle на JSON для обмена данными по сокетам. Другой серьезной угрозой стала DDoS-уязвимость в поисковом роботе ChatGPT от OpenAI. Исследователь Benjamin Flesch обнаружил, что некорректная обработка HTTP POST-запросов к API
chatgpt[.]com/backend-api/attributions позволяет злоумышленникам инициировать DDoS-атаки на произвольные веб-сайты. API не ограничивает количество гиперссылок в запросе и не предотвращает дублирование запросов, что позволяет отправить множество запросов на один сайт, используя IP-адреса Microsoft Azure, которые использует поисковой робот ChatGPT. OpenAI оперативно выпустила исправление для этой уязвимости. Эти инциденты подчеркивают, что LLM не создают принципиально новых видов атак, а, скорее, усиливают существующие, делая их более эффективными и точными. По словам исследователей Joe Leon и Mark Vaitzman из Deep Instinct, LLM могут быть интегрированы в каждый этап жизненного цикла атаки, от разведки до эксплуатации. Более того, LLM могут воспроизводить «небезопасные практики программирования», на которых они сами были обучены.
В связи с растущей угрозой безопасности ИИ-систем, особое значение приобретает возможность отслеживания происхождения и архитектуры моделей. Метод ShadowGenes, разработанный компанией HiddenLayer, позволяет идентифицировать архитектуру, тип и семейство моделей на основе анализа вычислительных графов. Этот метод, базирующийся на ранее раскрытой технике атаки ShadowLogic, отслеживает повторяющиеся паттерны и позволяет организациям лучше понимать свою ИИ-инфраструктуру, улучшая тем самым управление безопасностью.
Стоит отметить, что уязвимости в области ИИ не ограничиваются новейшими инструментами. В августе 2024 года компания Oligo Security обнаружила «теневую уязвимость» в Keras, фреймворке TensorFlow (CVE-2024-3660, CVSS 9.8). Эта уязвимость, связанная с использованием небезопасного модуля
marshal, также приводила к удаленному выполнению кода. Таким образом, обеспечение безопасности ИИ-систем требует комплексного подхода, включающего в себя своевременное исправление уязвимостей, использование безопасных практик разработки, а также применение методов отслеживания и анализа архитектуры моделей. Игнорирование этих аспектов может привести к серьезным последствиям для организаций и пользователей.
