Инновационный метод rStar-Math для математических рассуждений

rStar-Math представляет собой прорыв в обучении малых языковых моделей (SLM) математическому рассуждению, позволяя им достигать и превосходить результаты, ранее доступные только большим моделям. Ключевой особенностью метода является использование «глубокого мышления» через поиск по дереву Монте-Карло (MCTS), где SLM выступают в роли модели политики, генерируя шаги решения, и модели предпочтения процессов (PPM), оценивающей их.
Инновационный метод rStar-Math для математических рассуждений
Изображение носит иллюстративный характер

В rStar-Math применяется саморазвитие, при котором модели (политика и PPM) итеративно совершенствуются на основе миллионов синтезированных решений, а также синтез данных с расширением кода, где каждый шаг рассуждения подкрепляется исполняемым кодом Python. Это позволяет отфильтровать ошибки и повысить надежность обучения, гарантируя, что каждый шаг рассуждения подкреплен успешным выполнением кода.

Модель PPM оценивает каждый шаг, используя пары предпочтений, полученных из Q-значений MCTS, что обеспечивает более точную обратную связь для обучения, чем модели, оценивающие только конечный результат. PPM также устойчива к зашумленным Q-значениям и предоставляет более плотный сигнал для обучения, способствуя эффективному формированию более точных траекторий рассуждений.

Экспериментальные результаты показывают, что rStar-Math значительно улучшает математические способности SLM, превосходя в ряде задач как System 1, так и System 2 модели, включая и более крупные модели. Использование MCTS и PPM для имитации глубокого мышления, в сочетании с самосовершенствованием моделей, позволяет создавать более доступные и эффективные модели искусственного интеллекта для широкого спектра задач.


Новое на сайте

21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий? 21006Как две уязвимости в Xen Orchestra открыли путь к захвату XCP-ng? 21005Поддельные сайты ИИ превращают опечатки в ловушки 21004Как обновление Node.js закрывает уязвимости HTTP/2 и TLS? 21003Почему Claude Fable5.2 обошёл GPT-6 Cyber в испытании многоэтапных кибератак? 21002Две уязвимости Red Hat Quay открыли доступ к чужим образам 21001После сигнала: почему для расследования нужны подробные сетевые данные 21000Критическая ошибка PTC Windchill и FlexPLM открывает путь к удалённому выполнению кода 20999Слепые зоны идентичности: чего не хватает SOC при расследовании атак 20998Обновления Apple закрыли лазейки в групповых чатах и Bluetooth 20997Уязвимость iPhone может открыть приложениям доступ к чужим файлам 20996Что раскрыла расширенная проверка утечки Fireworks AI? 20995Уязвимость в Apache HTTP/2: удалённое выполнение кода без входа 20994Как защитить виртуальные машины Google Cloud от утечек на AMD Turin?
Ссылка