Новый метод обучения искусственного интеллекта (ИИ), названный Quiet-STaR, позволяет ему генерировать внутренние размышления перед тем, как отвечать на запросы, аналогично тому, как человек обдумывает свои слова перед тем, как их произнести. Это кардинально отличается от подхода, используемого в популярных чат-ботах, таких как ChatGPT, которые не «думают» о том, что пишут.
Quiet-STaR обучает ИИ параллельно генерировать множество внутренних рассуждений, из которых затем выбирается наилучший ответ, который может быть верифицирован человеком. Такой подход позволяет ИИ предвосхищать будущие диалоги и учиться на текущих, отбрасывая ошибочные варианты рассуждений.
Применив Quiet-STaR к открытой модели Mistral 7B, исследователи добились значительного улучшения показателей. В частности, модель показала 47.2% в тестах на рассуждение, в отличие от 36.3% до обучения, и хотя она по-прежнему проваливает тесты по математике, ее результаты выросли с 5.9% до 10.9%.
Этот подход отличается от предыдущих попыток улучшить рассуждающие способности ИИ, которые были узкоспециализированными и не могли применяться к разным типам моделей. Quiet-STaR, основанный на алгоритме STaR, может быть применен к различным языковым моделям, приближая ИИ к человеческому мышлению.
Изображение носит иллюстративный характер
Quiet-STaR обучает ИИ параллельно генерировать множество внутренних рассуждений, из которых затем выбирается наилучший ответ, который может быть верифицирован человеком. Такой подход позволяет ИИ предвосхищать будущие диалоги и учиться на текущих, отбрасывая ошибочные варианты рассуждений.
Применив Quiet-STaR к открытой модели Mistral 7B, исследователи добились значительного улучшения показателей. В частности, модель показала 47.2% в тестах на рассуждение, в отличие от 36.3% до обучения, и хотя она по-прежнему проваливает тесты по математике, ее результаты выросли с 5.9% до 10.9%.
Этот подход отличается от предыдущих попыток улучшить рассуждающие способности ИИ, которые были узкоспециализированными и не могли применяться к разным типам моделей. Quiet-STaR, основанный на алгоритме STaR, может быть применен к различным языковым моделям, приближая ИИ к человеческому мышлению.
