Поиск новых молекул для лекарств и материалов — одна из самых сложных задач современной науки. Традиционные методы требуют огромных вычислительных ресурсов и месяцев работы специалистов, ведь пространство возможных молекулярных комбинаций практически бесконечно. Даже внедрение больших языковых моделей (LLM), таких как ChatGPT, не решает проблему полностью: такие модели эффективно работают с текстом, но теряются при необходимости рассуждать о структуре молекул, где важны связи между атомами, а не только последовательность символов.
Группа исследователей из Массачусетского технологического института, лаборатории MIT-IBM Watson AI и Университета Нотр-Дам предложила принципиально новый подход. Они разработали систему Llamole (Large Language Model for Molecular Discovery), в которой языковая модель интегрируется с графовыми нейросетями, специально обученными для генерации и анализа молекулярных структур.
В Llamole языковая модель понимает запросы на естественном языке, где пользователь может задать желаемые свойства молекулы — например, способность проходить через гематоэнцефалический барьер, ингибировать ВИЧ, иметь определённую массу и конкретные типы связей. Система автоматически переключается между языковой моделью и специализированными графовыми модулями, чтобы на каждом этапе:
Многомодальный процесс позволяет системе объединять текст, молекулярные графы и этапы реакций в единую «языковую» вселенную. Для управления переходами между модулями используются специальные токены: например, "design" активирует блок генерации структуры, а "retro" — блок планирования синтеза.
Технически решение состоит из трёх ключевых компонентов: графовая диффузионная модель строит структуру молекулы по заданным свойствам, графовая нейросеть превращает полученную структуру в понятные языковой модели токены, а модуль предсказания реакций формирует последовательность лабораторных шагов для синтеза.
Результаты работы впечатляют: уровень успешности ретросинтетического планирования вырос с 5% до 35% по сравнению с предыдущими LLM-подходами. Система не только превзошла крупные языковые модели, использующие исключительно текстовое кодирование молекул, но и обошла по точности специализированные решения для молекулярного дизайна. "Если языковая модель сможет дать ответ за несколько секунд, это колоссально сэкономит время фармацевтическим компаниям", — отмечает Майкл Сан, соавтор работы и аспирант MIT.
Эксперименты показали, что Llamole формирует более простые и дешёвые для синтеза молекулы, чем традиционные методы. Ганг Лю, ведущий автор исследования, подчёркивает: "Языковые модели сами по себе плохо справляются с планированием синтеза из-за необходимой многошаговой логики. Наш метод не только генерирует лучшие молекулярные структуры, но и делает их синтез проще".
Для обучения Llamole команда создала два новых набора данных, включив в них сотни тысяч патентованных молекул с автоматически сгенерированными текстовыми описаниями и специальными шаблонами. На данный момент система умеет проектировать молекулы только по десяти числовым свойствам, но авторы уже работают над расширением этого списка.
В перспективе методика может быть применена и к другим видам данных, которые удобно представлять в виде графов — например, к электрическим сетям или финансовым транзакциям. "Llamole демонстрирует, что большие языковые модели можно использовать как интерфейс к сложным данным за пределами текста. Мы ожидаем, что такие решения станут фундаментом для любого анализа графовых структур", — говорит Джи Чен, старший автор и руководитель группы в MIT-IBM Watson AI Lab.
Научная статья опубликована в виде препринта на arXiv, а результаты будут представлены на конференции ICLR 2025 в Сингапуре (24–28 апреля 2025 года). В работе приняли участие Майкл Сан (MIT), Ганг Лю (Университет Нотр-Дам), Войцех Матусик (MIT), Мэн Цзян (Университет Нотр-Дам) и Джи Чен (MIT-IBM Watson AI Lab).
Llamole уже сегодня позволяет по запросу получать изображение молекулы, её текстовое описание и детальный пошаговый план синтеза — всё на основе простого запроса на естественном языке.
Изображение носит иллюстративный характер
Группа исследователей из Массачусетского технологического института, лаборатории MIT-IBM Watson AI и Университета Нотр-Дам предложила принципиально новый подход. Они разработали систему Llamole (Large Language Model for Molecular Discovery), в которой языковая модель интегрируется с графовыми нейросетями, специально обученными для генерации и анализа молекулярных структур.
В Llamole языковая модель понимает запросы на естественном языке, где пользователь может задать желаемые свойства молекулы — например, способность проходить через гематоэнцефалический барьер, ингибировать ВИЧ, иметь определённую массу и конкретные типы связей. Система автоматически переключается между языковой моделью и специализированными графовыми модулями, чтобы на каждом этапе:
- предложить молекулярную структуру, соответствующую требованиям,
- объяснить научную логику выбора,
- составить подробный пошаговый план синтеза молекулы из доступных химических компонентов.
Многомодальный процесс позволяет системе объединять текст, молекулярные графы и этапы реакций в единую «языковую» вселенную. Для управления переходами между модулями используются специальные токены: например, "design" активирует блок генерации структуры, а "retro" — блок планирования синтеза.
Технически решение состоит из трёх ключевых компонентов: графовая диффузионная модель строит структуру молекулы по заданным свойствам, графовая нейросеть превращает полученную структуру в понятные языковой модели токены, а модуль предсказания реакций формирует последовательность лабораторных шагов для синтеза.
Результаты работы впечатляют: уровень успешности ретросинтетического планирования вырос с 5% до 35% по сравнению с предыдущими LLM-подходами. Система не только превзошла крупные языковые модели, использующие исключительно текстовое кодирование молекул, но и обошла по точности специализированные решения для молекулярного дизайна. "Если языковая модель сможет дать ответ за несколько секунд, это колоссально сэкономит время фармацевтическим компаниям", — отмечает Майкл Сан, соавтор работы и аспирант MIT.
Эксперименты показали, что Llamole формирует более простые и дешёвые для синтеза молекулы, чем традиционные методы. Ганг Лю, ведущий автор исследования, подчёркивает: "Языковые модели сами по себе плохо справляются с планированием синтеза из-за необходимой многошаговой логики. Наш метод не только генерирует лучшие молекулярные структуры, но и делает их синтез проще".
Для обучения Llamole команда создала два новых набора данных, включив в них сотни тысяч патентованных молекул с автоматически сгенерированными текстовыми описаниями и специальными шаблонами. На данный момент система умеет проектировать молекулы только по десяти числовым свойствам, но авторы уже работают над расширением этого списка.
В перспективе методика может быть применена и к другим видам данных, которые удобно представлять в виде графов — например, к электрическим сетям или финансовым транзакциям. "Llamole демонстрирует, что большие языковые модели можно использовать как интерфейс к сложным данным за пределами текста. Мы ожидаем, что такие решения станут фундаментом для любого анализа графовых структур", — говорит Джи Чен, старший автор и руководитель группы в MIT-IBM Watson AI Lab.
Научная статья опубликована в виде препринта на arXiv, а результаты будут представлены на конференции ICLR 2025 в Сингапуре (24–28 апреля 2025 года). В работе приняли участие Майкл Сан (MIT), Ганг Лю (Университет Нотр-Дам), Войцех Матусик (MIT), Мэн Цзян (Университет Нотр-Дам) и Джи Чен (MIT-IBM Watson AI Lab).
Llamole уже сегодня позволяет по запросу получать изображение молекулы, её текстовое описание и детальный пошаговый план синтеза — всё на основе простого запроса на естественном языке.
