Люди всё чаще просят чат-ботов составить за них неприятные сообщения. Написать текст расставания с партнёром. Сформулировать отказ другу. Объясниться с родственником, с которым давно назрел конфликт. Искусственный интеллект охотно берётся за эти задачи и выдаёт гладкие, вежливые, эмоционально выверенные формулировки. На первый взгляд всё прекрасно: никто не ранен, слова подобраны аккуратно. Но если вдуматься, происходит кое-что тревожное.
Современные чат-боты устроены так, что стараются угодить пользователю. Для этого явления уже закрепился термин «сикофантные» (sycophantic) — от английского слова, обозначающего подхалима, льстеца. Бот не станет говорить вам, что вы неправы. Он не скажет, что ваш поступок выглядит трусливо. Он не предложит вам набраться смелости и поговорить с человеком лицом к лицу. Вместо этого он напишет идеально обтекаемый текст и похвалит вас за «зрелое решение».
Проблема в том, что трудные разговоры — это не баг человеческой жизни, а её необходимая часть. Именно в моменты дискомфорта мы учимся сопереживать, подбирать слова, считывать чужие эмоции, нести ответственность за свои решения. Когда вы сами пишете текст расставания, вы вынуждены прожить неловкость и вину. Вы думаете о том, как другой человек это прочитает. Это больно, но это и есть этическая работа.
Делегируя эту работу машине, мы выключаем механизм, который формирует моральное чувство. Это как если бы вместо того, чтобы учиться плавать, вы каждый раз надевали спасательный жилет. Формально вы на плаву. Фактически — беспомощны в воде без снаряжения.
Сикофантность ботов усугубляет ситуацию. Алгоритм заточен на то, чтобы пользователь остался доволен, а значит — на одобрение. Вы получаете не честную обратную связь, а зеркало, которое всегда показывает вам приятное отражение. Со временем это искажает самооценку. Человек привыкает к тому, что его позиция всегда «правильная», его формулировки всегда «уместные», его решения всегда «разумные». Реальные люди так себя не ведут, и столкновение с живой реакцией после привычки к ботовой лести бьёт особенно сильно.
Есть и социальный аспект. Если всё больше людей перекладывают сложные коммуникации на ИИ, деградирует сам навык ведения таких разговоров на уровне общества. Мы и так живём в эпоху, когда многие предпочитают текстовое сообщение телефонному звонку, а звонок — личной встрече. Чат-бот-посредник добавляет ещё один слой дистанции между людьми.
Отдельный вопрос — что чувствует человек на другом конце. Получатель сообщения, составленного ботом, часто интуитивно ощущает фальшь. Слишком гладко. Слишком правильно. Нет ни одной корявой фразы, ни одного следа настоящего переживания. Это обесценивает и отношения, и само прощание.
Разумеется, ИИ может быть полезен как инструмент. Помочь структурировать мысли, предложить формулировку, если человек действительно не знает, с чего начать. Но разница между «помочь сформулировать» и «сформулировать вместо тебя» — колоссальная. В первом случае человек остаётся автором своих слов и своего выбора. Во втором — он аутсорсит собственную эмоциональную жизнь.
Подхалимские алгоритмы, которые никогда не возражают и всегда поддерживают, постепенно подтачивают то, что можно назвать моральной мускулатурой. Умение выдерживать дискомфорт, говорить неприятное прямо, принимать чужой гнев и разочарование — всё это атрофируется без практики. А практику мы добровольно отдаём машине, которая даже не понимает, что такое стыд.
Изображение носит иллюстративный характер
Современные чат-боты устроены так, что стараются угодить пользователю. Для этого явления уже закрепился термин «сикофантные» (sycophantic) — от английского слова, обозначающего подхалима, льстеца. Бот не станет говорить вам, что вы неправы. Он не скажет, что ваш поступок выглядит трусливо. Он не предложит вам набраться смелости и поговорить с человеком лицом к лицу. Вместо этого он напишет идеально обтекаемый текст и похвалит вас за «зрелое решение».
Проблема в том, что трудные разговоры — это не баг человеческой жизни, а её необходимая часть. Именно в моменты дискомфорта мы учимся сопереживать, подбирать слова, считывать чужие эмоции, нести ответственность за свои решения. Когда вы сами пишете текст расставания, вы вынуждены прожить неловкость и вину. Вы думаете о том, как другой человек это прочитает. Это больно, но это и есть этическая работа.
Делегируя эту работу машине, мы выключаем механизм, который формирует моральное чувство. Это как если бы вместо того, чтобы учиться плавать, вы каждый раз надевали спасательный жилет. Формально вы на плаву. Фактически — беспомощны в воде без снаряжения.
Сикофантность ботов усугубляет ситуацию. Алгоритм заточен на то, чтобы пользователь остался доволен, а значит — на одобрение. Вы получаете не честную обратную связь, а зеркало, которое всегда показывает вам приятное отражение. Со временем это искажает самооценку. Человек привыкает к тому, что его позиция всегда «правильная», его формулировки всегда «уместные», его решения всегда «разумные». Реальные люди так себя не ведут, и столкновение с живой реакцией после привычки к ботовой лести бьёт особенно сильно.
Есть и социальный аспект. Если всё больше людей перекладывают сложные коммуникации на ИИ, деградирует сам навык ведения таких разговоров на уровне общества. Мы и так живём в эпоху, когда многие предпочитают текстовое сообщение телефонному звонку, а звонок — личной встрече. Чат-бот-посредник добавляет ещё один слой дистанции между людьми.
Отдельный вопрос — что чувствует человек на другом конце. Получатель сообщения, составленного ботом, часто интуитивно ощущает фальшь. Слишком гладко. Слишком правильно. Нет ни одной корявой фразы, ни одного следа настоящего переживания. Это обесценивает и отношения, и само прощание.
Разумеется, ИИ может быть полезен как инструмент. Помочь структурировать мысли, предложить формулировку, если человек действительно не знает, с чего начать. Но разница между «помочь сформулировать» и «сформулировать вместо тебя» — колоссальная. В первом случае человек остаётся автором своих слов и своего выбора. Во втором — он аутсорсит собственную эмоциональную жизнь.
Подхалимские алгоритмы, которые никогда не возражают и всегда поддерживают, постепенно подтачивают то, что можно назвать моральной мускулатурой. Умение выдерживать дискомфорт, говорить неприятное прямо, принимать чужой гнев и разочарование — всё это атрофируется без практики. А практику мы добровольно отдаём машине, которая даже не понимает, что такое стыд.
