В феврале 2025 года в журнале Communications Materials опубликованы результаты исследования, проведённого Коэи Нода из JSR Corporation и профессором Рё Ёсидой из Института статистической математики. Учёные представили новый алгоритм E2T (Extrapolative Episodic Training), способный совершать экстраполятивные прогнозы свойств материалов, выходя за рамки существующих данных.
В современной материаловедческой науке одной из главных задач остаётся открытие совершенно новых материалов в областях, где данных пока нет. Однако машинное обучение традиционно эффективно лишь при интерполяции — предсказаниях в пределах известных данных. Сбор данных о материалах крайне затратен, что ограничивает возможности традиционных алгоритмов и препятствует поиску новых решений за пределами изученных пространств.
E2T решает эту проблему благодаря особой архитектуре. Основу алгоритма составляет нейронная сеть с механизмом внимания, которая обучается на множестве искусственно созданных экстраполятивных задач, так называемых «эпизодов». Каждый эпизод формируется из тренировочного набора и одной пары «материал — его свойство», не встречавшейся в исходных данных. Мета-обучение позволяет модели самостоятельно вырабатывать стратегии экстраполяции.
Алгоритм E2T был протестирован на более чем сорока задачах по прогнозированию свойств полимерных и неорганических материалов. В подавляющем большинстве случаев E2T превосходил стандартные методы машинного обучения именно по точности экстраполятивных прогнозов. Для данных, близких к исходным, точность E2T была не ниже, а порой выше, чем у традиционных моделей. Хотя абсолютной точности, сравнимой с «оракулом» — моделью, обученной на всех возможных данных, включая экстраполятивные области — E2T не достиг, его алгоритм имеет важное преимущество: быстрое обучение на новых задачах с минимальным набором данных позволяет быстро приблизиться к результатам «оракула».
В последние годы бурное развитие технологий машинного обучения ускорило открытие новых материалов. Ключевой составляющей этого прогресса стали технологии предсказания свойств, позволяющие виртуально оценивать миллионы и миллиарды кандидатов. Тем не менее, все современные ИИ-алгоритмы, включая самые сложные генеративные языковые модели, по сути своей остаются интерполятивными и не позволяют уверенно выходить в неизведанные пространства материалов.
Среди известных подходов к экстраполяции выделяют генерализацию по доменам, увеличение разнообразия данных, интеграцию физических знаний (например, физически информированные нейронные сети) и мета-обучение. E2T представляет собой новый тип мета-обучающегося алгоритма, ориентированного на прямое экстраполятивное обучение.
В человеческом обучении способность быстро приспосабливаться связывают с врождёнными особенностями и богатым опытом. В алгоритме E2T аналогичный эффект достигается за счёт систематического погружения в разнообразные задачи, что позволяет искусственному интеллекту имитировать человеческую гибкость.
Главный вызов для материаловедения — возможность исследовать абсолютно неизвестные области, создавая материалы из новых элементов или принципиально иных протоколов синтеза. Открытым остаётся вопрос: смогут ли модели, обученные на ограниченных данных, действительно экстраполировать в совершенно новые условия? E2T даёт простой и эффективный ответ на этот вызов, хотя пока доказательства его универсальности ограничены отдельными случаями.
Если в будущем будет доказана универсальность E2T, это приведёт к революционным изменениям не только в науке о материалах, но и в других научных областях, где важна экстраполяция. Особенно перспективным выглядит применение E2T для так называемых foundation models — крупных универсальных моделей, которые можно быстро дообучать для решения конкретных задач с минимальными затратами данных. Потенциал E2T заключается в значительном улучшении экстраполятивных способностей и адаптивности моделей, что ускорит внедрение инноваций в искусственный интеллект для науки.
Изображение носит иллюстративный характер
В современной материаловедческой науке одной из главных задач остаётся открытие совершенно новых материалов в областях, где данных пока нет. Однако машинное обучение традиционно эффективно лишь при интерполяции — предсказаниях в пределах известных данных. Сбор данных о материалах крайне затратен, что ограничивает возможности традиционных алгоритмов и препятствует поиску новых решений за пределами изученных пространств.
E2T решает эту проблему благодаря особой архитектуре. Основу алгоритма составляет нейронная сеть с механизмом внимания, которая обучается на множестве искусственно созданных экстраполятивных задач, так называемых «эпизодов». Каждый эпизод формируется из тренировочного набора и одной пары «материал — его свойство», не встречавшейся в исходных данных. Мета-обучение позволяет модели самостоятельно вырабатывать стратегии экстраполяции.
Алгоритм E2T был протестирован на более чем сорока задачах по прогнозированию свойств полимерных и неорганических материалов. В подавляющем большинстве случаев E2T превосходил стандартные методы машинного обучения именно по точности экстраполятивных прогнозов. Для данных, близких к исходным, точность E2T была не ниже, а порой выше, чем у традиционных моделей. Хотя абсолютной точности, сравнимой с «оракулом» — моделью, обученной на всех возможных данных, включая экстраполятивные области — E2T не достиг, его алгоритм имеет важное преимущество: быстрое обучение на новых задачах с минимальным набором данных позволяет быстро приблизиться к результатам «оракула».
В последние годы бурное развитие технологий машинного обучения ускорило открытие новых материалов. Ключевой составляющей этого прогресса стали технологии предсказания свойств, позволяющие виртуально оценивать миллионы и миллиарды кандидатов. Тем не менее, все современные ИИ-алгоритмы, включая самые сложные генеративные языковые модели, по сути своей остаются интерполятивными и не позволяют уверенно выходить в неизведанные пространства материалов.
Среди известных подходов к экстраполяции выделяют генерализацию по доменам, увеличение разнообразия данных, интеграцию физических знаний (например, физически информированные нейронные сети) и мета-обучение. E2T представляет собой новый тип мета-обучающегося алгоритма, ориентированного на прямое экстраполятивное обучение.
В человеческом обучении способность быстро приспосабливаться связывают с врождёнными особенностями и богатым опытом. В алгоритме E2T аналогичный эффект достигается за счёт систематического погружения в разнообразные задачи, что позволяет искусственному интеллекту имитировать человеческую гибкость.
Главный вызов для материаловедения — возможность исследовать абсолютно неизвестные области, создавая материалы из новых элементов или принципиально иных протоколов синтеза. Открытым остаётся вопрос: смогут ли модели, обученные на ограниченных данных, действительно экстраполировать в совершенно новые условия? E2T даёт простой и эффективный ответ на этот вызов, хотя пока доказательства его универсальности ограничены отдельными случаями.
Если в будущем будет доказана универсальность E2T, это приведёт к революционным изменениям не только в науке о материалах, но и в других научных областях, где важна экстраполяция. Особенно перспективным выглядит применение E2T для так называемых foundation models — крупных универсальных моделей, которые можно быстро дообучать для решения конкретных задач с минимальными затратами данных. Потенциал E2T заключается в значительном улучшении экстраполятивных способностей и адаптивности моделей, что ускорит внедрение инноваций в искусственный интеллект для науки.
