Исследование показало, что даже минимальное добавление ложной медицинской информации (всего 0,001% от объема обучающих данных) в большие языковые модели (LLM) может серьезно подорвать их точность. Вносимая дезинформация, специально сгенерированная LLM, способна не только скомпрометировать ответы по конкретной теме, но и повлиять на общую надежность модели в медицинской области. Это происходит из-за того, что LLM обучаются на основе огромных массивов данных из интернета, где дезинформация широко распространена.
Причем, отравление обучающих данных не требует доступа к самой модели. Достаточно просто разместить нужные «фейковые» данные в открытом доступе. Это может быть в виде обычных веб-страниц, которые модели сканируют и индексируют для обучения. При этом даже скрытый на веб-страницах текст может быть воспринят моделью. А это, в свою очередь, делает процесс отравления достаточно дешевым и простым.
Несмотря на то, что медицинские LLM успешно проходят стандартные тесты производительности, это не гарантирует, что они не подвержены отравлению. Более того, попытки улучшить модели после обучения с помощью тонкой настройки или других методов оказались неэффективными. И это является проблемой, ведь люди, не являющиеся специалистами в области медицины, часто будут обращаться за информацией к универсальным поисковым LLM, а не к специализированным медицинским моделям, прошедшим проверку.
В качестве решения проблемы предложен алгоритм перекрестной проверки результатов LLM на основе графа биомедицинских знаний. Этот алгоритм способен выявлять фразы, не прошедшие проверку. Но, в конечном итоге, создание стабильно надежных медицинских LLM остается сложной задачей, усугубляемой устареванием и противоречивостью информации даже в надежных базах данных, таких как PubMed.
Изображение носит иллюстративный характер
Причем, отравление обучающих данных не требует доступа к самой модели. Достаточно просто разместить нужные «фейковые» данные в открытом доступе. Это может быть в виде обычных веб-страниц, которые модели сканируют и индексируют для обучения. При этом даже скрытый на веб-страницах текст может быть воспринят моделью. А это, в свою очередь, делает процесс отравления достаточно дешевым и простым.
Несмотря на то, что медицинские LLM успешно проходят стандартные тесты производительности, это не гарантирует, что они не подвержены отравлению. Более того, попытки улучшить модели после обучения с помощью тонкой настройки или других методов оказались неэффективными. И это является проблемой, ведь люди, не являющиеся специалистами в области медицины, часто будут обращаться за информацией к универсальным поисковым LLM, а не к специализированным медицинским моделям, прошедшим проверку.
В качестве решения проблемы предложен алгоритм перекрестной проверки результатов LLM на основе графа биомедицинских знаний. Этот алгоритм способен выявлять фразы, не прошедшие проверку. Но, в конечном итоге, создание стабильно надежных медицинских LLM остается сложной задачей, усугубляемой устареванием и противоречивостью информации даже в надежных базах данных, таких как PubMed.
