Исследователи из AI-стартапа Pathway разработали новую архитектуру искусственного интеллекта под названием «Dragon Hatchling». Они заявляют, что это первая модель, способная к «обобщению во времени» путем постоянной адаптации своей внутренней структуры в ответ на новую информацию, что потенциально является «недостающим звеном» на пути к достижению Общего Искусственного Интеллекта (AGI).
Основная цель архитектуры — преодолеть разрыв между существующим ИИ и более человекоподобным познанием. Ключевая особенность «Dragon Hatchling» заключается в его способности автоматически корректировать свои собственные нейронные связи в режиме реального времени по мере обработки новой информации. Модель имитирует то, как нейроны в человеческом мозге соединяются и укрепляются благодаря накопленному опыту.
В отличие от последовательной, многоуровневой структуры традиционных трансформеров, «Dragon Hatchling» описывается как «гибкая сеть», которая реорганизует саму себя. Она использует крошечные «нейронные частицы», которые непрерывно обмениваются информацией. Эти частицы корректируют свои связи, усиливая одни и ослабляя другие, тем самым формируя новые пути по мере обучения модели.
Эта архитектурная особенность позволяет «Dragon Hatchling» развивать форму кратковременной памяти за счет постоянных структурных адаптаций. Это кардинально отличает его от традиционных больших языковых моделей (LLM), чья «память» происходит из сохраненного контекста в их обучающих данных.
Современные модели ИИ, такие как ChatGPT, Google Gemini и Claude, основаны на технологии трансформеров — фреймворке глубокого обучения, который позволяет ИИ устанавливать связи между словами и идеями. Однако их фундаментальным ограничением является статичное обучение. После того как LLM обучена, ее управляющие параметры становятся заблокированными. Для получения новых знаний требуется ресурсоемкое переобучение или донастройка.
Эдриан Косовски, сооснователь и главный научный сотрудник Pathway, в подкасте SuperDataScience 7 октября заявил, что существующие модели ИИ «не обобщают рассуждения так, как это делают люди». Они с трудом применяют логику за пределами шаблонов, увиденных в данных для обучения. Человеческое мышление описывается как «хаотичное сплетение» пересекающихся мыслей и информации, а не аккуратная линейная последовательность, которую текущие модели не могут воспроизвести.
Исследователи предполагают, что их модель может стать тем самым «недостающим звеном» между сегодняшним ИИ и более продвинутым интеллектом, вдохновленным работой мозга. Эта архитектура предлагается как решение проблемы обобщения рассуждений на более сложные и длинные паттерны, что является ключевым препятствием в области ИИ. Разработка позиционируется как фундаментальный шаг к созданию Общего Искусственного Интеллекта.
Теоретически, такая архитектура может привести к созданию моделей ИИ, которые становятся умнее по мере того, как дольше находятся в рабочем состоянии, обучаясь и адаптируясь автономно.
Исследование с описанием архитектуры было загружено 30 сентября в базу препринтов arXiv. Важно отметить, что на данный момент работа еще не прошла процедуру рецензирования научным сообществом.
В ходе тестов «Dragon Hatchling» показал производительность, сопоставимую с моделью GPT-2, в эталонных задачах языкового моделирования и перевода. Команда Pathway считает это «впечатляющим достижением для совершенно новой, прототипной архитектуры».
Изображение носит иллюстративный характер
Основная цель архитектуры — преодолеть разрыв между существующим ИИ и более человекоподобным познанием. Ключевая особенность «Dragon Hatchling» заключается в его способности автоматически корректировать свои собственные нейронные связи в режиме реального времени по мере обработки новой информации. Модель имитирует то, как нейроны в человеческом мозге соединяются и укрепляются благодаря накопленному опыту.
В отличие от последовательной, многоуровневой структуры традиционных трансформеров, «Dragon Hatchling» описывается как «гибкая сеть», которая реорганизует саму себя. Она использует крошечные «нейронные частицы», которые непрерывно обмениваются информацией. Эти частицы корректируют свои связи, усиливая одни и ослабляя другие, тем самым формируя новые пути по мере обучения модели.
Эта архитектурная особенность позволяет «Dragon Hatchling» развивать форму кратковременной памяти за счет постоянных структурных адаптаций. Это кардинально отличает его от традиционных больших языковых моделей (LLM), чья «память» происходит из сохраненного контекста в их обучающих данных.
Современные модели ИИ, такие как ChatGPT, Google Gemini и Claude, основаны на технологии трансформеров — фреймворке глубокого обучения, который позволяет ИИ устанавливать связи между словами и идеями. Однако их фундаментальным ограничением является статичное обучение. После того как LLM обучена, ее управляющие параметры становятся заблокированными. Для получения новых знаний требуется ресурсоемкое переобучение или донастройка.
Эдриан Косовски, сооснователь и главный научный сотрудник Pathway, в подкасте SuperDataScience 7 октября заявил, что существующие модели ИИ «не обобщают рассуждения так, как это делают люди». Они с трудом применяют логику за пределами шаблонов, увиденных в данных для обучения. Человеческое мышление описывается как «хаотичное сплетение» пересекающихся мыслей и информации, а не аккуратная линейная последовательность, которую текущие модели не могут воспроизвести.
Исследователи предполагают, что их модель может стать тем самым «недостающим звеном» между сегодняшним ИИ и более продвинутым интеллектом, вдохновленным работой мозга. Эта архитектура предлагается как решение проблемы обобщения рассуждений на более сложные и длинные паттерны, что является ключевым препятствием в области ИИ. Разработка позиционируется как фундаментальный шаг к созданию Общего Искусственного Интеллекта.
Теоретически, такая архитектура может привести к созданию моделей ИИ, которые становятся умнее по мере того, как дольше находятся в рабочем состоянии, обучаясь и адаптируясь автономно.
Исследование с описанием архитектуры было загружено 30 сентября в базу препринтов arXiv. Важно отметить, что на данный момент работа еще не прошла процедуру рецензирования научным сообществом.
В ходе тестов «Dragon Hatchling» показал производительность, сопоставимую с моделью GPT-2, в эталонных задачах языкового моделирования и перевода. Команда Pathway считает это «впечатляющим достижением для совершенно новой, прототипной архитектуры».
