Представьте: человек чувствует, что заболевает, и вместо похода к врачу открывает чат с ИИ-ботом. Бот, не моргнув виртуальным глазом, советует вставить зубчик чеснока ректально — якобы для поддержки иммунитета. Звучит как дурная шутка, но это реальный пример ответа, который способны генерировать медицинские чат-боты на базе искусственного интеллекта. И проблема тут даже не в абсурдности совета, а в том, с какой невозмутимой уверенностью он подаётся.
Медицинские эксперты бьют тревогу. ИИ-чат-боты, которые всё чаще используются людьми как замена визиту к врачу, выдают опасные рекомендации с таким тоном, будто за текстом стоит консилиум профессоров. Пользователь, не имеющий медицинского образования, не в состоянии отличить грамотный ответ от потенциально травматичного бреда, если тот упакован в спокойную, уверенную обёртку. А чат-боты именно так и работают: они не сомневаются, не оговариваются, не переспрашивают. Они просто отвечают.
Проблема необоснованной уверенности — одна из самых коварных черт современных языковых моделей. Они не «знают» медицину. Они статистически подбирают слова, которые кажутся наиболее вероятным продолжением фразы. Если в обучающих данных встречались тексты о народных средствах рядом с терминами про иммунитет, бот вполне может слепить из этого рецепт, от которого у любого проктолога волосы встанут дыбом.
Ректальное введение чеснока — это, конечно, крайний случай. Но менее абсурдные, а потому ещё более опасные советы чат-боты раздают регулярно. Неправильные дозировки лекарств, ошибочные интерпретации симптомов, рекомендации, противоречащие актуальным клиническим протоколам — всё это пользователь получает за секунды и бесплатно. Бесплатность, кстати, усиливает доверие: человеку кажется, что система «не заинтересована» его обманывать.
Врачи и технологические специалисты указывают на фундаментальное противоречие. Чат-бот спроектирован так, чтобы выглядеть полезным. Его задача — сгенерировать ответ, который удовлетворит пользователя. А удовлетворённость и медицинская корректность — это совершенно разные вещи. Пациент хочет услышать конкретный совет, и бот даёт конкретный совет. Только этот совет может его покалечить.
Отдельная сторона проблемы — отсутствие механизма ответственности. Если врач назначит чеснок ректально, его лишат лицензии. Если это сделает чат-бот, никто не понесёт наказания. Разработчики прикрываются дисклеймерами мелким шрифтом: «это не медицинская консультация». Но мелкий шрифт мало кого останавливает, когда ответ выглядит так, будто его написал настоящий доктор.
Есть и культурный фактор. Люди привыкли доверять технологиям. Навигатор ведёт — мы едем. Поисковик нашёл — мы верим. С медицинскими чат-ботами срабатывает тот же рефлекс, только ставки несравнимо выше. Неправильный поворот на дороге — потеря десяти минут. Неправильное «лечение» — потеря здоровья.
Пока не существует ни стандартов сертификации медицинских ИИ-ботов, ни обязательной верификации их ответов живыми специалистами. Эксперты настаивают: любой медицинский совет от чат-бота должен восприниматься примерно как совет случайного попутчика в маршрутке. Может, он окажется прав. А может, и нет. Разница лишь в том, что попутчик хотя бы не притворяется, что точно знает.
Изображение носит иллюстративный характер
Медицинские эксперты бьют тревогу. ИИ-чат-боты, которые всё чаще используются людьми как замена визиту к врачу, выдают опасные рекомендации с таким тоном, будто за текстом стоит консилиум профессоров. Пользователь, не имеющий медицинского образования, не в состоянии отличить грамотный ответ от потенциально травматичного бреда, если тот упакован в спокойную, уверенную обёртку. А чат-боты именно так и работают: они не сомневаются, не оговариваются, не переспрашивают. Они просто отвечают.
Проблема необоснованной уверенности — одна из самых коварных черт современных языковых моделей. Они не «знают» медицину. Они статистически подбирают слова, которые кажутся наиболее вероятным продолжением фразы. Если в обучающих данных встречались тексты о народных средствах рядом с терминами про иммунитет, бот вполне может слепить из этого рецепт, от которого у любого проктолога волосы встанут дыбом.
Ректальное введение чеснока — это, конечно, крайний случай. Но менее абсурдные, а потому ещё более опасные советы чат-боты раздают регулярно. Неправильные дозировки лекарств, ошибочные интерпретации симптомов, рекомендации, противоречащие актуальным клиническим протоколам — всё это пользователь получает за секунды и бесплатно. Бесплатность, кстати, усиливает доверие: человеку кажется, что система «не заинтересована» его обманывать.
Врачи и технологические специалисты указывают на фундаментальное противоречие. Чат-бот спроектирован так, чтобы выглядеть полезным. Его задача — сгенерировать ответ, который удовлетворит пользователя. А удовлетворённость и медицинская корректность — это совершенно разные вещи. Пациент хочет услышать конкретный совет, и бот даёт конкретный совет. Только этот совет может его покалечить.
Отдельная сторона проблемы — отсутствие механизма ответственности. Если врач назначит чеснок ректально, его лишат лицензии. Если это сделает чат-бот, никто не понесёт наказания. Разработчики прикрываются дисклеймерами мелким шрифтом: «это не медицинская консультация». Но мелкий шрифт мало кого останавливает, когда ответ выглядит так, будто его написал настоящий доктор.
Есть и культурный фактор. Люди привыкли доверять технологиям. Навигатор ведёт — мы едем. Поисковик нашёл — мы верим. С медицинскими чат-ботами срабатывает тот же рефлекс, только ставки несравнимо выше. Неправильный поворот на дороге — потеря десяти минут. Неправильное «лечение» — потеря здоровья.
Пока не существует ни стандартов сертификации медицинских ИИ-ботов, ни обязательной верификации их ответов живыми специалистами. Эксперты настаивают: любой медицинский совет от чат-бота должен восприниматься примерно как совет случайного попутчика в маршрутке. Может, он окажется прав. А может, и нет. Разница лишь в том, что попутчик хотя бы не притворяется, что точно знает.
