Ssylka

Уязвимость ИИ: малая доля дезинформации фатальна для медицинских LLM

Исследование показало, что даже минимальное добавление ложной медицинской информации (всего 0,001% от объема обучающих данных) в большие языковые модели (LLM) может серьезно подорвать их точность. Вносимая дезинформация, специально сгенерированная LLM, способна не только скомпрометировать ответы по конкретной теме, но и повлиять на общую надежность модели в медицинской области. Это происходит из-за того, что LLM обучаются на основе огромных массивов данных из интернета, где дезинформация широко распространена.
Уязвимость ИИ: малая доля дезинформации фатальна для медицинских LLM
Изображение носит иллюстративный характер

Причем, отравление обучающих данных не требует доступа к самой модели. Достаточно просто разместить нужные «фейковые» данные в открытом доступе. Это может быть в виде обычных веб-страниц, которые модели сканируют и индексируют для обучения. При этом даже скрытый на веб-страницах текст может быть воспринят моделью. А это, в свою очередь, делает процесс отравления достаточно дешевым и простым.

Несмотря на то, что медицинские LLM успешно проходят стандартные тесты производительности, это не гарантирует, что они не подвержены отравлению. Более того, попытки улучшить модели после обучения с помощью тонкой настройки или других методов оказались неэффективными. И это является проблемой, ведь люди, не являющиеся специалистами в области медицины, часто будут обращаться за информацией к универсальным поисковым LLM, а не к специализированным медицинским моделям, прошедшим проверку.

В качестве решения проблемы предложен алгоритм перекрестной проверки результатов LLM на основе графа биомедицинских знаний. Этот алгоритм способен выявлять фразы, не прошедшие проверку. Но, в конечном итоге, создание стабильно надежных медицинских LLM остается сложной задачей, усугубляемой устареванием и противоречивостью информации даже в надежных базах данных, таких как PubMed.


Новое на сайте

18246Мог ли древний яд стать решающим фактором в эволюции человека? 18245Тайна колодца Мурсы: раны и днк раскрыли судьбу павших солдат 18244Битва за миллиардный сэндвич без корочки 18243Почему ваши расширения для VS Code могут оказаться шпионским по? 18242Как подать заявку FAFSA на 2026-27 учебный год и получить финансовую помощь? 18241Мог ли взлом F5 раскрыть уязвимости нулевого дня в продукте BIG-IP? 18240CVS завершает поглощение активов обанкротившейся сети Rite Aid 18239Nvidia, BlackRock и Microsoft покупают основу для глобального ИИ за $40 миллиардов 18238Действительно ли только род Homo создавал орудия труда? 18236Процент с прибыли: как инвесторы создали новый источник финансирования для... 18235Почему синхронизируемые ключи доступа открывают двери для кибератак на предприятия? 18234Какова реальная цена суперсилы гриба из Super Mario? 18233Как люксовые бренды контролировали цены и почему за это поплатились? 18232Как диетическая кола растворила массу, вызванную лекарством для похудения