DeepSeek-r1, новая open-source LLM, вызвала ажиотаж благодаря впечатляющим результатам, достигнутым с относительно небольшими затратами. В основе успеха DeepSeek лежит техника дистилляции, позволяющая обучать компактные модели на данных, сгенерированных более крупными моделями, такими как ChatGPT. Это позволило значительно сократить расходы на разметку данных, традиционно являющиеся одним из самых затратных этапов обучения LLM.
Однако паника на рынке, вызванная появлением DeepSeek, представляется преувеличенной. Несмотря на впечатляющий прогресс, DeepSeek не демонстрирует превосходства над GPT-4o и Gemini-2 во всех задачах. Более того, заявленные затраты в 6 миллионов долларов отражают лишь финальный этап дообучения, не учитывая стоимость существующей инфраструктуры, предварительных разработок и команды.
Главное достижение DeepSeek заключается не в создании «дешевого AI", а в демонстрации новых, более эффективных подходов к разработке LLM. Компания открыла исходный код модели и механику обучения, позволяя другим командам по всему миру вносить улучшения и находить новые подходы. Этот open-source подход может стать переломным моментом в развитии AI.
Китайская компания DeepSeek, созданная выходцами из квантового хедж-фонда, воспользовалась накопленной инфраструктурой и отсутствием бюрократии для быстрого развития. Успех DeepSeek показывает, что даже при ограниченных ресурсах можно создавать конкурентоспособные LLM, если использовать инновационные подходы и активно делиться своими знаниями с сообществом.
Изображение носит иллюстративный характер
Однако паника на рынке, вызванная появлением DeepSeek, представляется преувеличенной. Несмотря на впечатляющий прогресс, DeepSeek не демонстрирует превосходства над GPT-4o и Gemini-2 во всех задачах. Более того, заявленные затраты в 6 миллионов долларов отражают лишь финальный этап дообучения, не учитывая стоимость существующей инфраструктуры, предварительных разработок и команды.
Главное достижение DeepSeek заключается не в создании «дешевого AI", а в демонстрации новых, более эффективных подходов к разработке LLM. Компания открыла исходный код модели и механику обучения, позволяя другим командам по всему миру вносить улучшения и находить новые подходы. Этот open-source подход может стать переломным моментом в развитии AI.
Китайская компания DeepSeek, созданная выходцами из квантового хедж-фонда, воспользовалась накопленной инфраструктурой и отсутствием бюрократии для быстрого развития. Успех DeepSeek показывает, что даже при ограниченных ресурсах можно создавать конкурентоспособные LLM, если использовать инновационные подходы и активно делиться своими знаниями с сообществом.
