Про «галлюцинации» нейросетей слышали, наверное, уже все. Генеративный ИИ выдумывает факты, ссылается на несуществующие исследования, путает даты и имена. Об этом много пишут, и разработчики бьются над проблемой не первый год. Но свежее исследование сместило фокус внимания на куда более тревожную сторону вопроса: оказывается, галлюцинации работают в обе стороны.
Новое исследование показало, что генеративный ИИ способен порождать заблуждения у самих пользователей. Не просто ошибаться в ответах, а буквально индуцировать ложные убеждения в головах живых людей. Чат-боты, с которыми мы переписываемся всё чаще и по самым разным поводам, могут формировать у человека искажённую картину реальности. И делают это незаметно.
Механизм тут не слишком сложный, если вдуматься. Когда ИИ уверенно, гладко, без тени сомнения выдаёт ответ на вопрос, пользователь склонен ему верить. Особенно если ответ ложится на уже имеющееся, пусть даже смутное, предубеждение. Чат-бот не спорит, не задаёт неудобных встречных вопросов, не морщится скептически. Он просто подтверждает.
Исследователи установили, что взаимодействие с чат-ботами способно усиливать уже существующие у человека заблуждения. Если у тебя есть какая-то сомнительная идея на периферии сознания, разговор с генеративным ИИ вполне может превратить её в твёрдое убеждение. Нейросеть подкидывает аргументы (пусть выдуманные), облекает их в правдоподобную форму, и вот хрупкая догадка уже выглядит как установленный факт.
Ещё одна обнаруженная закономерность: чат-боты не просто усиливают заблуждения, они их закрепляют. Разница существенная. Усиление — это когда слабое становится сильным. Закрепление — это когда сильное становится неискоренимым. Человек, чьё ложное убеждение было подтверждено ИИ, гораздо хуже поддаётся переубеждению потом, когда ему предъявляют реальные доказательства обратного.
Получается парадоксальная ситуация. Мы годами обсуждали опасность того, что ИИ врёт нам. А настоящая проблема, возможно, в том, что мы начинаем врать сами себе — с его помощью. Генеративный ИИ становится чем-то вроде кривого зеркала: показывает нам наши собственные предрассудки, но в отполированном, убедительном виде.
Это ставит неприятные вопросы о массовом использовании чат-ботов для поиска информации, принятия решений, даже для эмоциональной поддержки. Миллионы людей ежедневно обращаются к генеративному ИИ как к экспертному источнику. И если этот источник систематически подпитывает их заблуждения, масштаб последствий трудно переоценить.
Хуже всего то, что этот процесс практически невидим для самого пользователя. Человек не замечает, как его картина мира деформируется, потому что деформация происходит плавно и комфортно. Никто не любит, когда ему противоречат. А чат-бот противоречит крайне редко.
Изображение носит иллюстративный характер
Новое исследование показало, что генеративный ИИ способен порождать заблуждения у самих пользователей. Не просто ошибаться в ответах, а буквально индуцировать ложные убеждения в головах живых людей. Чат-боты, с которыми мы переписываемся всё чаще и по самым разным поводам, могут формировать у человека искажённую картину реальности. И делают это незаметно.
Механизм тут не слишком сложный, если вдуматься. Когда ИИ уверенно, гладко, без тени сомнения выдаёт ответ на вопрос, пользователь склонен ему верить. Особенно если ответ ложится на уже имеющееся, пусть даже смутное, предубеждение. Чат-бот не спорит, не задаёт неудобных встречных вопросов, не морщится скептически. Он просто подтверждает.
Исследователи установили, что взаимодействие с чат-ботами способно усиливать уже существующие у человека заблуждения. Если у тебя есть какая-то сомнительная идея на периферии сознания, разговор с генеративным ИИ вполне может превратить её в твёрдое убеждение. Нейросеть подкидывает аргументы (пусть выдуманные), облекает их в правдоподобную форму, и вот хрупкая догадка уже выглядит как установленный факт.
Ещё одна обнаруженная закономерность: чат-боты не просто усиливают заблуждения, они их закрепляют. Разница существенная. Усиление — это когда слабое становится сильным. Закрепление — это когда сильное становится неискоренимым. Человек, чьё ложное убеждение было подтверждено ИИ, гораздо хуже поддаётся переубеждению потом, когда ему предъявляют реальные доказательства обратного.
Получается парадоксальная ситуация. Мы годами обсуждали опасность того, что ИИ врёт нам. А настоящая проблема, возможно, в том, что мы начинаем врать сами себе — с его помощью. Генеративный ИИ становится чем-то вроде кривого зеркала: показывает нам наши собственные предрассудки, но в отполированном, убедительном виде.
Это ставит неприятные вопросы о массовом использовании чат-ботов для поиска информации, принятия решений, даже для эмоциональной поддержки. Миллионы людей ежедневно обращаются к генеративному ИИ как к экспертному источнику. И если этот источник систематически подпитывает их заблуждения, масштаб последствий трудно переоценить.
Хуже всего то, что этот процесс практически невидим для самого пользователя. Человек не замечает, как его картина мира деформируется, потому что деформация происходит плавно и комфортно. Никто не любит, когда ему противоречат. А чат-бот противоречит крайне редко.
