OpenAI столкнулась со сложностями в разработке GPT-5 (кодовое имя Orion), несмотря на ожидания инвесторов и значительные затраты. Проект, призванный стать прорывным шагом в области ИИ, несколько раз не достиг желаемых результатов, что выявило недостаток высококачественных и разнообразных данных для обучения. В итоге OpenAI пришлось переосмыслить подход к сбору данных, начав нанимать экспертов для генерации уникального контента и объяснения своего мыслительного процесса.
Старая стратегия, основанная на принципе «больше данных – лучше результат», похоже, себя исчерпала. Для обучения Orion, OpenAI теперь создает данные с нуля, привлекая программистов и математиков, способных генерировать новый код и решать сложные задачи. Кроме того, они ищут экспертов в узких областях знания, таких как теоретическая физика, чтобы обеспечить более глубокое обучение.
В качестве альтернативного подхода OpenAI экспериментирует с моделями рассуждений, когда ИИ анализирует несколько вариантов ответов, чтобы выбрать лучший. Это позволяет не только повысить качество ответов, но и моделировать рассуждения, приближенные к человеческим, и учиться на этом процессе. Использование синтетических данных, создаваемых другими моделями ИИ компании, также рассматривается, но с осторожностью из-за проблем с качеством и «галлюцинациями».
Задержка с релизом GPT-5 и пересмотр подхода к обучению ИИ свидетельствует о том, что компания не только стремится к количественному наращиванию данных, но и делает ставку на качество, разнообразие и более глубокое понимание принципов мышления.
Изображение носит иллюстративный характер
Старая стратегия, основанная на принципе «больше данных – лучше результат», похоже, себя исчерпала. Для обучения Orion, OpenAI теперь создает данные с нуля, привлекая программистов и математиков, способных генерировать новый код и решать сложные задачи. Кроме того, они ищут экспертов в узких областях знания, таких как теоретическая физика, чтобы обеспечить более глубокое обучение.
В качестве альтернативного подхода OpenAI экспериментирует с моделями рассуждений, когда ИИ анализирует несколько вариантов ответов, чтобы выбрать лучший. Это позволяет не только повысить качество ответов, но и моделировать рассуждения, приближенные к человеческим, и учиться на этом процессе. Использование синтетических данных, создаваемых другими моделями ИИ компании, также рассматривается, но с осторожностью из-за проблем с качеством и «галлюцинациями».
Задержка с релизом GPT-5 и пересмотр подхода к обучению ИИ свидетельствует о том, что компания не только стремится к количественному наращиванию данных, но и делает ставку на качество, разнообразие и более глубокое понимание принципов мышления.
