Пионеры обучения с подкреплением, удостоенные престижной премии A.M. Turing Award – эквивалента Нобелевской премии в компьютерных науках – перевернули представление о возможностях искусственного интеллекта. Награду ежегодно спонсирует Google с призовым фондом в US $1 миллион, а ее вручили на общем собрании ACM в среду.
76-летний Эндрю Барто, ранее работавший в Университете Массачусетса в Эмерсте, зарекомендовал себя своими первыми исследованиями в условиях, когда обучение с подкреплением было мало популярно. Его слова – «Мы были своего рода в пустыне. Вот почему так приятно получать эту награду...» – отражают путь от экспериментальных достижений к признанию значимости их работы.
67-летний Ричард Саттон, профессор Университета Альберты, внес неоценимый вклад в разработку теорий и алгоритмов, легших в основу дисциплины. Он подчеркнул, что идея, изложенная Аланом Тьюрингом в 1947 году о машине, которая «может учиться на опыте», стала краеугольным камнем развития обучения с подкреплением.
Методология, разработанная Барто и Саттоном, основывается на принципах, аналогичных дрессировке животных посредством позитивного подкрепления. Их подход, называемый «гедонистическим», использует концепции психологии и нейронаук, связанные с реакцией нейронов на вознаграждения и наказания.
Исследовательская работа началась в конце 1970-х годов в Университете Массачусетса, а в начале 1980-х был опубликован знаковый документ, демонстрирующий успешное решение задачи балансировки шеста на движущейся тележке в смоделированном окружении. Этот эксперимент стал отправной точкой для последующих прорывов в сфере искусственного интеллекта.
Разработанные методы сыграли ключевую роль в ряде современных достижений: от победы компьютерной программы Google над чемпионами древней игры го в 2016 и 2017 годах до оптимизации финансовых торговых стратегий и программ, обеспечивающих работу ChatGPT. Джефф Дин, главный ученый Google, отмечает: «Инструменты, которые они разработали, по-прежнему остаются центральной опорой взрыва AI-революции, способствовав значительным прорывам, привлечению легионов молодых исследователей и инвестициям на миллиарды долларов».
Фундаментальное отличие подхода Барто и Саттона состоит в выборе между обучением на основе данных, предоставленных людьми, и самостоятельным опытом ИИ-агентов. Так, Барто, называющий себя луддитом, предостерегает о возможных неожиданных последствиях быстрого технологического прогресса, тогда как Саттон оптимистично заявляет: «Люди — машины. Они удивительные, замечательные машины... [они] не являются 'конечным продуктом' и могут работать лучше».
Награждение премией, названной в честь Алана Тьюринга – британского математика, криптоаналитика и одного из первых мыслителей в области искусственного интеллекта, – символизирует продолжение идеи создания машин, способных учиться на опыте. Исследования Барто и Саттона проложили путь к современным прорывам и определяют развитие ИИ в ближайшие десятилетия.
Изображение носит иллюстративный характер
76-летний Эндрю Барто, ранее работавший в Университете Массачусетса в Эмерсте, зарекомендовал себя своими первыми исследованиями в условиях, когда обучение с подкреплением было мало популярно. Его слова – «Мы были своего рода в пустыне. Вот почему так приятно получать эту награду...» – отражают путь от экспериментальных достижений к признанию значимости их работы.
67-летний Ричард Саттон, профессор Университета Альберты, внес неоценимый вклад в разработку теорий и алгоритмов, легших в основу дисциплины. Он подчеркнул, что идея, изложенная Аланом Тьюрингом в 1947 году о машине, которая «может учиться на опыте», стала краеугольным камнем развития обучения с подкреплением.
Методология, разработанная Барто и Саттоном, основывается на принципах, аналогичных дрессировке животных посредством позитивного подкрепления. Их подход, называемый «гедонистическим», использует концепции психологии и нейронаук, связанные с реакцией нейронов на вознаграждения и наказания.
Исследовательская работа началась в конце 1970-х годов в Университете Массачусетса, а в начале 1980-х был опубликован знаковый документ, демонстрирующий успешное решение задачи балансировки шеста на движущейся тележке в смоделированном окружении. Этот эксперимент стал отправной точкой для последующих прорывов в сфере искусственного интеллекта.
Разработанные методы сыграли ключевую роль в ряде современных достижений: от победы компьютерной программы Google над чемпионами древней игры го в 2016 и 2017 годах до оптимизации финансовых торговых стратегий и программ, обеспечивающих работу ChatGPT. Джефф Дин, главный ученый Google, отмечает: «Инструменты, которые они разработали, по-прежнему остаются центральной опорой взрыва AI-революции, способствовав значительным прорывам, привлечению легионов молодых исследователей и инвестициям на миллиарды долларов».
Фундаментальное отличие подхода Барто и Саттона состоит в выборе между обучением на основе данных, предоставленных людьми, и самостоятельным опытом ИИ-агентов. Так, Барто, называющий себя луддитом, предостерегает о возможных неожиданных последствиях быстрого технологического прогресса, тогда как Саттон оптимистично заявляет: «Люди — машины. Они удивительные, замечательные машины... [они] не являются 'конечным продуктом' и могут работать лучше».
Награждение премией, названной в честь Алана Тьюринга – британского математика, криптоаналитика и одного из первых мыслителей в области искусственного интеллекта, – символизирует продолжение идеи создания машин, способных учиться на опыте. Исследования Барто и Саттона проложили путь к современным прорывам и определяют развитие ИИ в ближайшие десятилетия.
