Эксперимент, сравнивший чат-бота на основе LLM (GPT-4o) и бота на интентах, показал, что LLM-решение выиграло по общему впечатлению и суммарной оценке критериев, таких как актуальность и проактивность. Однако, LLM-бот проигрывал в скорости ответа, стабильности работы и достоверности информации, иногда выдавая «галлюцинации».
Тестирование проводилось на базе действующего бота компании КНАУФ. Фокус-группа оценивала ботов по ряду критериев, включая понятность функционала, решение поставленной задачи, общее впечатление и соответствие утверждениям, опирающимся на принципы дизайна разговорных интерфейсов.
Анализ комментариев респондентов выявил, что бот на интентах лучше воспринимался как справочник для пользователей, знающих, что ищут, в то время как LLM-бот лучше справлялся с общими вопросами. При этом классическое решение получило высокую оценку за навигацию и лаконичность, а LLM-версия была многословной.
В ходе эксперимента подтвердилась гипотеза о целесообразности гибридного подхода, сочетающего прописанные скрипты и LLM для улучшения навигации и обработки нестандартных ситуаций. Red политики компании в целом оказались полезными при работе над личностью бота.
Изображение носит иллюстративный характер
Тестирование проводилось на базе действующего бота компании КНАУФ. Фокус-группа оценивала ботов по ряду критериев, включая понятность функционала, решение поставленной задачи, общее впечатление и соответствие утверждениям, опирающимся на принципы дизайна разговорных интерфейсов.
Анализ комментариев респондентов выявил, что бот на интентах лучше воспринимался как справочник для пользователей, знающих, что ищут, в то время как LLM-бот лучше справлялся с общими вопросами. При этом классическое решение получило высокую оценку за навигацию и лаконичность, а LLM-версия была многословной.
В ходе эксперимента подтвердилась гипотеза о целесообразности гибридного подхода, сочетающего прописанные скрипты и LLM для улучшения навигации и обработки нестандартных ситуаций. Red политики компании в целом оказались полезными при работе над личностью бота.
