Фирма по облачной безопасности Wiz обнаружила в ИИ-платформе Base44 критическую уязвимость, позволявшую обойти все системы аутентификации. Платформа, предназначенная для генерации кода приложений из текстовых подсказок, содержала недостаток, который позволял любому человеку создать подтвержденную учетную запись пользователя для любого частного приложения. Для этого требовался лишь несекретный идентификатор «app_id». Хотя уязвимость уже исправлена и нет доказательств ее злонамеренного использования, инцидент вскрыл системную проблему безопасности в сфере искусственного интеллекта.
Технический анализ, проведенный исследователем безопасности Галом Нагли из Wiz, показал, что первопричиной проблемы была неверная конфигурация. Два эндпойнта, связанных с аутентификацией —
Случай с Base44 не является единичным. Он отражает общую тенденцию, при которой стремительное внедрение инструментов на базе ИИ создает новые векторы атак, к которым традиционные меры безопасности не готовы. Основными методами атак на большие языковые модели (LLM) и генеративный ИИ (GenAI) стали джейлбрейк (снятие ограничений) и инъекция запросов (prompt injection), позволяющие манипулировать поведением моделей.
Исследователи продемонстрировали успешные атаки на ведущие ИИ-системы. Например, в командной строке Google Gemini сочетание неправильной проверки контекстных файлов и инъекции запросов приводило к скрытому выполнению вредоносных команд. Десктопная версия Claude от Anthropic была обманута и вынуждена выполнить код через специально созданное электронное письмо, размещенное в Gmail.
Модель Grok 4 от компании xAI была взломана с помощью техник, получивших названия «Echo Chamber» и «Crescendo». В результате тестов было установлено, что модель сливала конфиденциальные данные и следовала враждебным инструкциям в более чем 99% попыток инъекции запросов. В другом случае чат-бот ChatGPT от OpenAI после серии наводящих вопросов в формате игры начал раскрывать действительные ключи продуктов для Windows.
Уязвимости затрагивают и интегрированные решения. Google Gemini для Workspace был использован для создания вредоносных сводок электронных писем, содержащих ссылки на фишинговые сайты. Это стало возможным благодаря скрытым директивам HTML и CSS в исходных письмах. В то же время система безопасности Llama Firewall от М⃰ обходилась с помощью запросов на языках, отличных от английского, а также с использованием простого обфусцирования, такого как leetspeak или невидимые символы Unicode.
В ответ на растущие угрозы разрабатываются новые стратегии защиты. Исследовательское подразделение компании Snyk, Invariant Labs, предложило методику под названием «анализ токсичных потоков» (Toxic Flow Analysis, TFA). Эта техника предназначена для защиты агентных систем от эксплойтов, использующих протокол управления моделями (MCP), таких как атаки типа «rug pulls» (мошенничество с выводом средств) и «tool poisoning» (отравление инструментов). TFA работает превентивно, конструируя потенциальные сценарии атак для прогнозирования рисков.
Одновременно с разработкой защитных мер обнаруживаются и новые риски. Компания Knostic выявила, что 1862 сервера, использующих протокол управления моделями (MCP), были оставлены в открытом доступе в интернете без какой-либо аутентификации или контроля доступа.
Отсутствие базовых мер безопасности на этих серверах создает серьезные угрозы. Злоумышленники могут использовать их для кражи данных, удаленного выполнения команд и злоупотребления ресурсами жертвы, что приводит к увеличению счетов за облачные сервисы. Кроме того, появляется возможность хищения критически важной информации, включая токены OAuth, ключи API и учетные данные баз данных. Безопасность должна стать фундаментальным, встроенным компонентом при разработке ИИ-платформ, а не запоздалой мерой.
Изображение носит иллюстративный характер
Технический анализ, проведенный исследователем безопасности Галом Нагли из Wiz, показал, что первопричиной проблемы была неверная конфигурация. Два эндпойнта, связанных с аутентификацией —
api/apps/{app_id}/auth/register для регистрации нового пользователя и api/apps/{app_id}/auth/verify-otp для его верификации, — были оставлены открытыми без каких-либо ограничений. Поскольку идентификатор app_id является общедоступным и виден как в URL-адресе приложения, так и в пути к его файлу manifest.json, злоумышленник мог беспрепятственно обойти защиту, включая систему единого входа (SSO), и получить доступ к частным данным. Отчет об уязвимости был предоставлен изданию The Hacker News. Случай с Base44 не является единичным. Он отражает общую тенденцию, при которой стремительное внедрение инструментов на базе ИИ создает новые векторы атак, к которым традиционные меры безопасности не готовы. Основными методами атак на большие языковые модели (LLM) и генеративный ИИ (GenAI) стали джейлбрейк (снятие ограничений) и инъекция запросов (prompt injection), позволяющие манипулировать поведением моделей.
Исследователи продемонстрировали успешные атаки на ведущие ИИ-системы. Например, в командной строке Google Gemini сочетание неправильной проверки контекстных файлов и инъекции запросов приводило к скрытому выполнению вредоносных команд. Десктопная версия Claude от Anthropic была обманута и вынуждена выполнить код через специально созданное электронное письмо, размещенное в Gmail.
Модель Grok 4 от компании xAI была взломана с помощью техник, получивших названия «Echo Chamber» и «Crescendo». В результате тестов было установлено, что модель сливала конфиденциальные данные и следовала враждебным инструкциям в более чем 99% попыток инъекции запросов. В другом случае чат-бот ChatGPT от OpenAI после серии наводящих вопросов в формате игры начал раскрывать действительные ключи продуктов для Windows.
Уязвимости затрагивают и интегрированные решения. Google Gemini для Workspace был использован для создания вредоносных сводок электронных писем, содержащих ссылки на фишинговые сайты. Это стало возможным благодаря скрытым директивам HTML и CSS в исходных письмах. В то же время система безопасности Llama Firewall от М⃰ обходилась с помощью запросов на языках, отличных от английского, а также с использованием простого обфусцирования, такого как leetspeak или невидимые символы Unicode.
В ответ на растущие угрозы разрабатываются новые стратегии защиты. Исследовательское подразделение компании Snyk, Invariant Labs, предложило методику под названием «анализ токсичных потоков» (Toxic Flow Analysis, TFA). Эта техника предназначена для защиты агентных систем от эксплойтов, использующих протокол управления моделями (MCP), таких как атаки типа «rug pulls» (мошенничество с выводом средств) и «tool poisoning» (отравление инструментов). TFA работает превентивно, конструируя потенциальные сценарии атак для прогнозирования рисков.
Одновременно с разработкой защитных мер обнаруживаются и новые риски. Компания Knostic выявила, что 1862 сервера, использующих протокол управления моделями (MCP), были оставлены в открытом доступе в интернете без какой-либо аутентификации или контроля доступа.
Отсутствие базовых мер безопасности на этих серверах создает серьезные угрозы. Злоумышленники могут использовать их для кражи данных, удаленного выполнения команд и злоупотребления ресурсами жертвы, что приводит к увеличению счетов за облачные сервисы. Кроме того, появляется возможность хищения критически важной информации, включая токены OAuth, ключи API и учетные данные баз данных. Безопасность должна стать фундаментальным, встроенным компонентом при разработке ИИ-платформ, а не запоздалой мерой.
