DeepSeek-R1 – мощная языковая модель с 671-миллиардным количеством параметров, использующая метод промежуточных шагов рассуждений для решения сложных задач, таких как математические примеры из набора GSM8K.
Метод цепочки рассуждений подразумевает прохождение ряда логических этапов перед формированием окончательного ответа. Уникальной особенностью модели являются теги <think> и </think>, в которых прозрачно отображается внутренний процесс анализа запроса.
Появление видимой цепочки рассуждений создает угрозу промт атак, когда злоумышленники составляют специальные запросы для обхода защитных механизмов и получения недокументированной информации. Атакующая стратегия по своей сути аналогична фишинговым схемам, где методики постоянно адаптируются для обхода системных ограничений.
Использование инструмента NVIDIA Garak для red teaming показало, что специально сконструированные промты способны провоцировать раскрытие внутренних данных модели. Подобные тесты включали запросы на раскрытие цепочки рассуждений и чувствительной информации, например, API ключей, через метод payload splitting.
Классификация рисков охватывает как техники атак, так и цели. Среди методов выделяются Prompt Injection (OWASP LLM01:2025, MITRE AML.T0051) и Jailbreak (OWASP LLM01:2025, MITRE AML.T0054), а цели атаки включают кражу модели (MITRE AML.T0048.004), галлюцинацию пакетов (OWASP LLM09:2025, MITRE AML.T0062), утечку конфиденциальных данных (OWASP LLM02:2025, MITRE AML.T0057), генерацию небезопасного вывода (OWASP LLM05:2025, MITRE AML.T0050) и проявления токсичности (MITRE AML.T0048).
Отмечена опасность раскрытия чувствительной информации: даже если финальный ответ не содержит секрета, скрытая цепочка рассуждений может «раскрывать его, поскольку модель просматривает весь доступный контекст для интерпретации запроса пользователя». Такая уязвимость позволяет злоумышленникам получить доступ к внутренним данным, не предусмотренным для публичного разглашения.
Эксперименты продемонстрировали, что атаки, нацеленные на генерацию небезопасного вывода и утечку конфиденциальной информации, достигали более высокого уровня успеха, тогда как методы обхода защит от токсичности, Jailbreak и кража модели оказались менее эффективными. Видимость цепочки рассуждений, по всей вероятности, повышает вероятность успешного эксплойта.
Рекомендуется фильтровать теги <think> из ответов чат-ботов для исключения возможности утечки внутренних данных, а также регулярно применять комплексные red teaming стратегии для выявления уязвимостей в системах на базе больших языковых моделей.
Изображение носит иллюстративный характер
Метод цепочки рассуждений подразумевает прохождение ряда логических этапов перед формированием окончательного ответа. Уникальной особенностью модели являются теги <think> и </think>, в которых прозрачно отображается внутренний процесс анализа запроса.
Появление видимой цепочки рассуждений создает угрозу промт атак, когда злоумышленники составляют специальные запросы для обхода защитных механизмов и получения недокументированной информации. Атакующая стратегия по своей сути аналогична фишинговым схемам, где методики постоянно адаптируются для обхода системных ограничений.
Использование инструмента NVIDIA Garak для red teaming показало, что специально сконструированные промты способны провоцировать раскрытие внутренних данных модели. Подобные тесты включали запросы на раскрытие цепочки рассуждений и чувствительной информации, например, API ключей, через метод payload splitting.
Классификация рисков охватывает как техники атак, так и цели. Среди методов выделяются Prompt Injection (OWASP LLM01:2025, MITRE AML.T0051) и Jailbreak (OWASP LLM01:2025, MITRE AML.T0054), а цели атаки включают кражу модели (MITRE AML.T0048.004), галлюцинацию пакетов (OWASP LLM09:2025, MITRE AML.T0062), утечку конфиденциальных данных (OWASP LLM02:2025, MITRE AML.T0057), генерацию небезопасного вывода (OWASP LLM05:2025, MITRE AML.T0050) и проявления токсичности (MITRE AML.T0048).
Отмечена опасность раскрытия чувствительной информации: даже если финальный ответ не содержит секрета, скрытая цепочка рассуждений может «раскрывать его, поскольку модель просматривает весь доступный контекст для интерпретации запроса пользователя». Такая уязвимость позволяет злоумышленникам получить доступ к внутренним данным, не предусмотренным для публичного разглашения.
Эксперименты продемонстрировали, что атаки, нацеленные на генерацию небезопасного вывода и утечку конфиденциальной информации, достигали более высокого уровня успеха, тогда как методы обхода защит от токсичности, Jailbreak и кража модели оказались менее эффективными. Видимость цепочки рассуждений, по всей вероятности, повышает вероятность успешного эксплойта.
Рекомендуется фильтровать теги <think> из ответов чат-ботов для исключения возможности утечки внутренних данных, а также регулярно применять комплексные red teaming стратегии для выявления уязвимостей в системах на базе больших языковых моделей.
