Темная сторона ИИ: критические уязвимости и методы защиты

Современные системы искусственного интеллекта, несмотря на свой потенциал, несут в себе и значительные риски безопасности. Недавние исследования выявили серьезные уязвимости в популярных фреймворках и инструментах, подчеркивая необходимость усиления внимания к защите ИИ-инфраструктуры.
Темная сторона ИИ: критические уязвимости и методы защиты
Изображение носит иллюстративный характер

Одной из наиболее тревожных находок стала уязвимость удаленного выполнения кода (RCE) во фреймворке Llama от М⃰. Эта уязвимость, получившая идентификатор CVE-2024-50050 и оценку CVSS 6.3 от М⃰ (но критическую 9.3 от Snyk), обнаруженная исследователем Avi Lumelsky из Oligo Security, связана с небезопасной десериализацией данных. API-интерфейсы Llama Stack, используемые для разработки ИИ-приложений, применяют Python-модуль pickle для обработки данных, что позволяет злоумышленнику, отправляя вредоносные объекты через сокет ZeroMQ (библиотеку pyzmq), если он доступен по сети, выполнить произвольный код на сервере. М⃰ оперативно устранила уязвимость, заменив pickle на JSON для обмена данными по сокетам.

Другой серьезной угрозой стала DDoS-уязвимость в поисковом роботе ChatGPT от OpenAI. Исследователь Benjamin Flesch обнаружил, что некорректная обработка HTTP POST-запросов к API chatgpt[.]com/backend-api/attributions позволяет злоумышленникам инициировать DDoS-атаки на произвольные веб-сайты. API не ограничивает количество гиперссылок в запросе и не предотвращает дублирование запросов, что позволяет отправить множество запросов на один сайт, используя IP-адреса Microsoft Azure, которые использует поисковой робот ChatGPT. OpenAI оперативно выпустила исправление для этой уязвимости.

Эти инциденты подчеркивают, что LLM не создают принципиально новых видов атак, а, скорее, усиливают существующие, делая их более эффективными и точными. По словам исследователей Joe Leon и Mark Vaitzman из Deep Instinct, LLM могут быть интегрированы в каждый этап жизненного цикла атаки, от разведки до эксплуатации. Более того, LLM могут воспроизводить «небезопасные практики программирования», на которых они сами были обучены.

В связи с растущей угрозой безопасности ИИ-систем, особое значение приобретает возможность отслеживания происхождения и архитектуры моделей. Метод ShadowGenes, разработанный компанией HiddenLayer, позволяет идентифицировать архитектуру, тип и семейство моделей на основе анализа вычислительных графов. Этот метод, базирующийся на ранее раскрытой технике атаки ShadowLogic, отслеживает повторяющиеся паттерны и позволяет организациям лучше понимать свою ИИ-инфраструктуру, улучшая тем самым управление безопасностью.

Стоит отметить, что уязвимости в области ИИ не ограничиваются новейшими инструментами. В августе 2024 года компания Oligo Security обнаружила «теневую уязвимость» в Keras, фреймворке TensorFlow (CVE-2024-3660, CVSS 9.8). Эта уязвимость, связанная с использованием небезопасного модуля marshal, также приводила к удаленному выполнению кода.

Таким образом, обеспечение безопасности ИИ-систем требует комплексного подхода, включающего в себя своевременное исправление уязвимостей, использование безопасных практик разработки, а также применение методов отслеживания и анализа архитектуры моделей. Игнорирование этих аспектов может привести к серьезным последствиям для организаций и пользователей.


Новое на сайте

21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн? 21010Операция Endgame: удар по вредоносным сетям и что делать пострадавшим 21009Как скрытый модуль в кошельках Trezor мог похитить фразы восстановления? 21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий? 21006Как две уязвимости в Xen Orchestra открыли путь к захвату XCP-ng? 21005Поддельные сайты ИИ превращают опечатки в ловушки 21004Как обновление Node.js закрывает уязвимости HTTP/2 и TLS? 21003Почему Claude Fable5.2 обошёл GPT-6 Cyber в испытании многоэтапных кибератак? 21002Две уязвимости Red Hat Quay открыли доступ к чужим образам
Ссылка