Уязвимость ИИ: малая доля дезинформации фатальна для медицинских LLM

Исследование показало, что даже минимальное добавление ложной медицинской информации (всего 0,001% от объема обучающих данных) в большие языковые модели (LLM) может серьезно подорвать их точность. Вносимая дезинформация, специально сгенерированная LLM, способна не только скомпрометировать ответы по конкретной теме, но и повлиять на общую надежность модели в медицинской области. Это происходит из-за того, что LLM обучаются на основе огромных массивов данных из интернета, где дезинформация широко распространена.
Уязвимость ИИ: малая доля дезинформации фатальна для медицинских LLM
Изображение носит иллюстративный характер

Причем, отравление обучающих данных не требует доступа к самой модели. Достаточно просто разместить нужные «фейковые» данные в открытом доступе. Это может быть в виде обычных веб-страниц, которые модели сканируют и индексируют для обучения. При этом даже скрытый на веб-страницах текст может быть воспринят моделью. А это, в свою очередь, делает процесс отравления достаточно дешевым и простым.

Несмотря на то, что медицинские LLM успешно проходят стандартные тесты производительности, это не гарантирует, что они не подвержены отравлению. Более того, попытки улучшить модели после обучения с помощью тонкой настройки или других методов оказались неэффективными. И это является проблемой, ведь люди, не являющиеся специалистами в области медицины, часто будут обращаться за информацией к универсальным поисковым LLM, а не к специализированным медицинским моделям, прошедшим проверку.

В качестве решения проблемы предложен алгоритм перекрестной проверки результатов LLM на основе графа биомедицинских знаний. Этот алгоритм способен выявлять фразы, не прошедшие проверку. Но, в конечном итоге, создание стабильно надежных медицинских LLM остается сложной задачей, усугубляемой устареванием и противоречивостью информации даже в надежных базах данных, таких как PubMed.


Новое на сайте

21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн? 21010Операция Endgame: удар по вредоносным сетям и что делать пострадавшим 21009Как скрытый модуль в кошельках Trezor мог похитить фразы восстановления? 21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий? 21006Как две уязвимости в Xen Orchestra открыли путь к захвату XCP-ng? 21005Поддельные сайты ИИ превращают опечатки в ловушки 21004Как обновление Node.js закрывает уязвимости HTTP/2 и TLS? 21003Почему Claude Fable5.2 обошёл GPT-6 Cyber в испытании многоэтапных кибератак? 21002Две уязвимости Red Hat Quay открыли доступ к чужим образам
Ссылка