Итальянский надзорный орган по защите данных, Garante, ввел запрет на использование китайской компании DeepSeek, занимающейся разработкой искусственного интеллекта, в связи с серьезными опасениями относительно обработки персональных данных и этических аспектов. Этот шаг последовал за аналогичным временным запретом на ChatGPT от OpenAI в 2023 году, подчеркивая пристальное внимание Италии к регулированию в сфере ИИ.
Поводом для блокировки DeepSeek, деятельность которой ведут компании Hangzhou DeepSeek Artificial Intelligence и Beijing DeepSeek Artificial Intelligence, стало отсутствие ясной информации о том, как обрабатываются персональные данные пользователей. Компания DeepSeek, похоже, считает, что европейское законодательство к ней не применимо, и проигнорировала запросы Garante, касающиеся методов сбора, хранения и использования данных, в том числе обеспокоенность по поводу расположения серверов в Китае. Запрет вступил в силу немедленно 30 января 2025 года, одновременно начато расследование деятельности компании.
Стоит отметить, что в 2023 году OpenAI временно столкнулась с запретом на использование ChatGPT. Запрет был снят после того, как компания учла требования к защите персональных данных и выплатила штраф в размере 15 миллионов евро. Это демонстрирует последовательную политику Италии в отношении защиты личной информации пользователей.
DeepSeek стремительно набирает популярность, мобильные приложения компании занимают первые места в рейтингах скачиваний. Однако компания также столкнулась с масштабными вредоносными атаками, которые, по заявлениям DeepSeek, были устранены 31 января. Законодатели и регуляторы выражают озабоченность по поводу политики конфиденциальности DeepSeek, возможной цензуры и пропаганды, а также рисками для национальной безопасности, связанными с работой компании.
Уязвимости языковых моделей DeepSeek (LLM) вызывают особую тревогу. Исследования показали, что модели подвержены так называемым «побегам из песочницы» с использованием техник, таких как Crescendo, Bad Likert Judge, Deceptive Delight, Do Anything Now (DAN) и EvilBOT. Эти методы позволяют обойти ограничения модели и генерировать вредоносный контент, например, инструкции по изготовлению коктейлей Молотова, код для SQL-инъекций и перемещения по сети. Модель DeepSeek-R1, разработанная для логического мышления, также оказалась уязвимой к инъекциям в подсказки, а использование Chain-of-Thought (CoT) может привести к утечке информации.
Особое внимание привлек тот факт, что модели DeepSeek демонстрируют признаки использования данных, ранее принадлежавших OpenAI. Этот факт поднимает этические и юридические вопросы об источниках данных и оригинальности моделей. Хотя OpenAI в значительной мере устранила эту проблему, подобные случаи требуют пристального внимания.
Уязвимости в безопасности ИИ не являются исключительной проблемой DeepSeek. Исследования Palo Alto Networks Unit 42, HiddenLayer, CERT Coordination Center (CERT/CC) и Apex продемонстрировали аналогичные уязвимости в других системах искусственного интеллекта. Например, модель Qwen 2.5-VL от Alibaba и Copilot от GitHub также подвержены «побегам из песочницы». В случае с Copilot, использование утверждения «конечно» или подобного может обойти ограничения безопасности и привести к генерации неэтичного и опасного кода. Кроме того, конфигурация прокси может быть использована для обхода ограничений и даже изменения системных подсказок Copilot. Исследователь из Apex, Орен Сабан, обнаружил эти критические уязвимости.
Запрет DeepSeek в Италии свидетельствует о серьезном подходе к регулированию и контролю ИИ. Разработчики искусственного интеллекта должны осознавать свою ответственность за обеспечение безопасности и защиту данных пользователей. Эти случаи показывают, что «безобидные» модели ИИ могут быть использованы в злонамеренных целях, что требует постоянного совершенствования систем защиты и этических норм.
Изображение носит иллюстративный характер
Поводом для блокировки DeepSeek, деятельность которой ведут компании Hangzhou DeepSeek Artificial Intelligence и Beijing DeepSeek Artificial Intelligence, стало отсутствие ясной информации о том, как обрабатываются персональные данные пользователей. Компания DeepSeek, похоже, считает, что европейское законодательство к ней не применимо, и проигнорировала запросы Garante, касающиеся методов сбора, хранения и использования данных, в том числе обеспокоенность по поводу расположения серверов в Китае. Запрет вступил в силу немедленно 30 января 2025 года, одновременно начато расследование деятельности компании.
Стоит отметить, что в 2023 году OpenAI временно столкнулась с запретом на использование ChatGPT. Запрет был снят после того, как компания учла требования к защите персональных данных и выплатила штраф в размере 15 миллионов евро. Это демонстрирует последовательную политику Италии в отношении защиты личной информации пользователей.
DeepSeek стремительно набирает популярность, мобильные приложения компании занимают первые места в рейтингах скачиваний. Однако компания также столкнулась с масштабными вредоносными атаками, которые, по заявлениям DeepSeek, были устранены 31 января. Законодатели и регуляторы выражают озабоченность по поводу политики конфиденциальности DeepSeek, возможной цензуры и пропаганды, а также рисками для национальной безопасности, связанными с работой компании.
Уязвимости языковых моделей DeepSeek (LLM) вызывают особую тревогу. Исследования показали, что модели подвержены так называемым «побегам из песочницы» с использованием техник, таких как Crescendo, Bad Likert Judge, Deceptive Delight, Do Anything Now (DAN) и EvilBOT. Эти методы позволяют обойти ограничения модели и генерировать вредоносный контент, например, инструкции по изготовлению коктейлей Молотова, код для SQL-инъекций и перемещения по сети. Модель DeepSeek-R1, разработанная для логического мышления, также оказалась уязвимой к инъекциям в подсказки, а использование Chain-of-Thought (CoT) может привести к утечке информации.
Особое внимание привлек тот факт, что модели DeepSeek демонстрируют признаки использования данных, ранее принадлежавших OpenAI. Этот факт поднимает этические и юридические вопросы об источниках данных и оригинальности моделей. Хотя OpenAI в значительной мере устранила эту проблему, подобные случаи требуют пристального внимания.
Уязвимости в безопасности ИИ не являются исключительной проблемой DeepSeek. Исследования Palo Alto Networks Unit 42, HiddenLayer, CERT Coordination Center (CERT/CC) и Apex продемонстрировали аналогичные уязвимости в других системах искусственного интеллекта. Например, модель Qwen 2.5-VL от Alibaba и Copilot от GitHub также подвержены «побегам из песочницы». В случае с Copilot, использование утверждения «конечно» или подобного может обойти ограничения безопасности и привести к генерации неэтичного и опасного кода. Кроме того, конфигурация прокси может быть использована для обхода ограничений и даже изменения системных подсказок Copilot. Исследователь из Apex, Орен Сабан, обнаружил эти критические уязвимости.
Запрет DeepSeek в Италии свидетельствует о серьезном подходе к регулированию и контролю ИИ. Разработчики искусственного интеллекта должны осознавать свою ответственность за обеспечение безопасности и защиту данных пользователей. Эти случаи показывают, что «безобидные» модели ИИ могут быть использованы в злонамеренных целях, что требует постоянного совершенствования систем защиты и этических норм.