Искусственный интеллект способен создавать проекты потенциально опасных белков, которые обходят существующее программное обеспечение в сфере биобезопасности. Однако эти системы защиты можно обновить, или «пропатчить», чтобы значительно повысить их способность обнаруживать подобные угрозы. Основная уязвимость заключается в том, что ИИ может вносить незначительные изменения в известные опасные белки, позволяя их генетическим чертежам обходить программы скрининга, предназначенные для предотвращения их производства.
Глобально используемое ПО для биобезопасности отслеживает искусственное производство белков с целью не допустить создания опасных веществ, таких как токсины, злоумышленниками. Искусственный интеллект способен разрабатывать незначительные модификации в структуре известных токсинов или вирусных белков, делая их неузнаваемыми для существующих фильтров.
Исследование, посвященное этой проблеме, было опубликовано 2 октября в журнале Science. Ведущий автор, Эрик Хорвиц, главный научный сотрудник Microsoft из Редмонда, штат Вашингтон, провел всю работу исключительно на компьютерах, без создания каких-либо физических белков. Команда под его руководством провела симуляционные тесты моделей скрининга биобезопасности для выявления их слабых мест.
На брифинге для прессы 30 сентября Хорвиц заявил: «Достижения в области ИИ способствуют прорывам в биологии и медицине. Однако с новой силой приходит и ответственность за бдительность и продуманное управление рисками». Его команда сгенерировала около 76 000 цифровых чертежей для 72 различных типов вредоносных белков, включая рицин, ботулинический нейротоксин и белки, которые помогают вирусам инфицировать людей.
До внедрения обновлений программное обеспечение успешно помечало ДНК почти всех белков в их первоначальной, неизмененной форме. Однако многие из скорректированных ИИ версий смогли «проскользнуть» через экраны незамеченными. После установки программных «патчей» возможности обнаружения значительно улучшились. Обновленные модели смогли идентифицировать угрожающие гены, даже когда те были разбиты на более мелкие фрагменты.
Несмотря на улучшения, обновленные модели все еще не смогли пометить около 3 процентов вариантов, сгенерированных искусственным интеллектом. Важным ограничением исследования является его чисто вычислительный характер. Остается неясным, сохранили бы созданные ИИ белковые варианты свою вредоносную функцию, если бы они были произведены физически.
Белки являются «рабочими лошадками биологии», выполняя важнейшие клеточные задачи, от строительства клеток до транспортировки материалов. Искусственный интеллект используется для тонкой настройки существующих белков, разработки совершенно новых, а также для создания новых организмов. Процесс производства начинается с создания ИИ цифрового чертежа, определяющего последовательность аминокислот.
Затем компании по синтезу ДНК собирают соответствующие генетические буквы для создания синтетических генов. На этом этапе компьютерные программы проверяют заказы, чтобы убедиться, что гены не кодируют опасные белки. Если проверка пройдена, синтетические гены отправляются в исследовательские лаборатории.
Джеймс Дигганс, вице-президент по политике и биобезопасности компании по синтезу ДНК Twist Bioscience из Сан-Франциско, на брифинге для прессы подчеркнул, что в реальной жизни срабатывание систем биобезопасности на заказы опасных белков — «это невероятно редкое явление». Он сравнил ситуацию с кибербезопасностью, где угрозы постоянны, отметив, что «близкое к нулю» число людей активно пытались произвести вредоносные белки.
По словам Дигганса, системы скрининга являются «важным оплотом» против потенциальных угроз. Он также добавил, что общественность может быть спокойна, зная, что подобный злонамеренный сценарий в настоящее время «не является распространенным».
Изображение носит иллюстративный характер
Глобально используемое ПО для биобезопасности отслеживает искусственное производство белков с целью не допустить создания опасных веществ, таких как токсины, злоумышленниками. Искусственный интеллект способен разрабатывать незначительные модификации в структуре известных токсинов или вирусных белков, делая их неузнаваемыми для существующих фильтров.
Исследование, посвященное этой проблеме, было опубликовано 2 октября в журнале Science. Ведущий автор, Эрик Хорвиц, главный научный сотрудник Microsoft из Редмонда, штат Вашингтон, провел всю работу исключительно на компьютерах, без создания каких-либо физических белков. Команда под его руководством провела симуляционные тесты моделей скрининга биобезопасности для выявления их слабых мест.
На брифинге для прессы 30 сентября Хорвиц заявил: «Достижения в области ИИ способствуют прорывам в биологии и медицине. Однако с новой силой приходит и ответственность за бдительность и продуманное управление рисками». Его команда сгенерировала около 76 000 цифровых чертежей для 72 различных типов вредоносных белков, включая рицин, ботулинический нейротоксин и белки, которые помогают вирусам инфицировать людей.
До внедрения обновлений программное обеспечение успешно помечало ДНК почти всех белков в их первоначальной, неизмененной форме. Однако многие из скорректированных ИИ версий смогли «проскользнуть» через экраны незамеченными. После установки программных «патчей» возможности обнаружения значительно улучшились. Обновленные модели смогли идентифицировать угрожающие гены, даже когда те были разбиты на более мелкие фрагменты.
Несмотря на улучшения, обновленные модели все еще не смогли пометить около 3 процентов вариантов, сгенерированных искусственным интеллектом. Важным ограничением исследования является его чисто вычислительный характер. Остается неясным, сохранили бы созданные ИИ белковые варианты свою вредоносную функцию, если бы они были произведены физически.
Белки являются «рабочими лошадками биологии», выполняя важнейшие клеточные задачи, от строительства клеток до транспортировки материалов. Искусственный интеллект используется для тонкой настройки существующих белков, разработки совершенно новых, а также для создания новых организмов. Процесс производства начинается с создания ИИ цифрового чертежа, определяющего последовательность аминокислот.
Затем компании по синтезу ДНК собирают соответствующие генетические буквы для создания синтетических генов. На этом этапе компьютерные программы проверяют заказы, чтобы убедиться, что гены не кодируют опасные белки. Если проверка пройдена, синтетические гены отправляются в исследовательские лаборатории.
Джеймс Дигганс, вице-президент по политике и биобезопасности компании по синтезу ДНК Twist Bioscience из Сан-Франциско, на брифинге для прессы подчеркнул, что в реальной жизни срабатывание систем биобезопасности на заказы опасных белков — «это невероятно редкое явление». Он сравнил ситуацию с кибербезопасностью, где угрозы постоянны, отметив, что «близкое к нулю» число людей активно пытались произвести вредоносные белки.
По словам Дигганса, системы скрининга являются «важным оплотом» против потенциальных угроз. Он также добавил, что общественность может быть спокойна, зная, что подобный злонамеренный сценарий в настоящее время «не является распространенным».
