Ssylka

Позволит ли отказ от SFT в обучении ИИ создать прорыв?

DeepSeek R1-Zero, в отличие от R1, не использует человеческую разметку (SFT) для обучения цепочек рассуждений (CoT), полагаясь исключительно на обучение с подкреплением. Это открытие ставит под сомнение необходимость SFT для создания точных и четких рассуждений в областях, где возможна строгая верификация. R1-Zero демонстрирует, что внутренний язык предметной области может быть сформирован исключительно через оптимизацию RL, хотя SFT по-прежнему требуется для обобщения рассуждений в разных областях.
Позволит ли отказ от SFT в обучении ИИ создать прорыв?
Изображение носит иллюстративный характер

Экономика ИИ претерпевает сдвиги: затраты на обучение переходят в затраты на инференс для повышения точности и надежности. Этот сдвиг обусловлен необходимостью преодоления ненадежности ИИ-агентов, являющейся главным препятствием для их широкого применения. Теперь компании готовы платить больше за надежную работу ИИ, что приведет к росту спроса на вычислительные ресурсы для инференса.

Системы рассуждений открывают новые возможности для обучения ИИ. Они не только улучшают точность ответов, но и генерируют «реальные» данные в процессе инференса. Таким образом, клиенты, платя за использование ИИ, одновременно предоставляют новые качественные данные, которые улучшают модель, создавая самоподдерживающийся цикл. Этот процесс обучения через инференс в конечном итоге может превзойти предварительное обучение на человеческих данных.

Открытость DeepSeek R1 способствует развитию исследований CoT и поиска, что ускоряет прогресс в области ИИ. Это направление исследований может привести к реализации AGI, поскольку появляется возможность масштабировать процесс без участия человека.


Новое на сайте

13509Что скрывает загадочный клад Мелсонби? 13508Может ли новый резервуар предотвратить наводнения? 13507Венеция: чудо из дерева, грязи и воды 13506Может ли купание под звёздами преобразить ваше восприятие мира? 13505Как распространение спортивной ходьбы трансформировало спортивную сферу в XIX столетии? 13504Защита критических данных с помощью PAM 13503Перестановка в «Малкольме»: новый Дьюи возрождает культовый сериал 13502Ошибочная декофеинизация: отзыв кофейного продукта в США 13501Как уличная фотография меняет модный мир? 13500Лучшее снаряжение для солнечного затмения 2025 13499Отмена тура FKA Twigs из-за визовых проблем 13498Как выбрать надежный трехрядный SUV за менее чем 30 000 долларов? 13497Как миф о превосходстве моногамии разрушается научными данными? 13496Любовный треугольник на южном побережье: как пара скопа справится с конкуренцией? 13495Революционное открытие: прото­планетные диски оказались значительно меньше, чем считалось...