Ученые обучили четвероногого робота по имени ANYmal играть в бадминтон против людей с помощью искусственного интеллекта. Исследование, опубликованное 28 мая в журнале Science Robotics, продемонстрировало, что робот способен совмещать сложные движения всего тела с визуальным восприятием в реальном времени для отслеживания и возврата волана.
ANYmal — это робот, похожий на собаку, весом 50 килограммов и стандартной высотой 0,5 метра. Для игры в бадминтон его конструкция была существенно доработана. Инженеры установили на корпус динамическую руку с ракеткой под углом 45 градусов и стереокамеру с двумя объективами для обработки визуальной информации. С этими модификациями общая высота робота достигла 1,6 метра. Вся система управляется 18 суставами: по три на каждой из четырех ног и шесть на руке.
Автором исследования является Юньтао Ма, научный сотрудник в области робототехники, ранее работавший в Швейцарской высшей технической школе Цюриха (ETH Zürich), а в настоящее время — в стартапе Light Robotics. В интервью изданию Live Science он отметил сложность координации визуального восприятия с движением всего тела, назвав это ключевой проблемой проекта.
Обучение робота проходило с использованием метода обучения с подкреплением, где система учится на пробах и ошибках, стремясь максимизировать вознаграждение. Первый этап включал 50 миллионов симуляций на виртуальном корте. Цифровая версия ANYmal училась отслеживать положение виртуальных воланов и прогнозировать их траекторию полета.
В симуляции действовал «виртуальный тренер», который вознаграждал робота за правильное положение ракетки, угол наклона головы и скорость замаха. Дополнительные бонусы начислялись за своевременные удары, эффективное перемещение по корту и отказ от неоправданно высокой скорости. В результате этого процесса была создана нейронная сеть, управляющая всеми 18 суставами робота.
На втором этапе, известном как "Sim-to-Real" (от симуляции к реальности), обученная нейронная сеть была перенесена на физического робота ANYmal. В реальных условиях специальный аппарат подавал ярко-оранжевый волан с контролируемой скоростью, углом и местом приземления. Задача робота состояла в том, чтобы отбить волан с достаточной силой и направить его обратно через сетку в центр корта соперника.
В ходе экспериментов ANYmal продемонстрировал способность поддерживать розыгрыши с человеком-соперником продолжительностью до 10 ударов. Робот научился адаптировать свои движения в зависимости от расстояния до волана. Если волан находился близко (около 0,5 метра), он использовал только руку. На среднем расстоянии (около 1,5 метра) робот быстро перебирал всеми четырьмя ногами.
Для отражения дальних ударов (на расстоянии около 2,2 метра) ANYmal переходил в галоп. Этот аллюр создавал короткий период полета, во время которого робот отрывался от земли, что увеличивало досягаемость его руки на 1 метр. Такое поведение не было запрограммировано заранее, а стало результатом процесса обучения.
Еще одним неожиданным результатом стало «эмерджентное поведение» робота. После каждого удара ANYmal самостоятельно научился возвращаться в центр корта, чтобы подготовиться к следующей подаче, имитируя тактику профессиональных игроков в бадминтон.
Несмотря на успехи, система имеет ограничения. В текущей версии робот не учитывает движения или положение противника для прогнозирования траектории волана. В будущем исследователи планируют внедрить в программное обеспечение «оценку позы человека» для улучшения прогнозирования. Аппаратные усовершенствования могут включать добавление шейного сустава, что позволит роботу дольше отслеживать волан во время движения.
Технологии, разработанные в ходе этого эксперимента, имеют потенциальное применение за пределами спорта. Навыки сочетания динамического визуального восприятия с маневренным движением могут быть использованы в роботах для ликвидации последствий стихийных бедствий, например, при разборе завалов в сложной и непредсказуемой среде.
Изображение носит иллюстративный характер
ANYmal — это робот, похожий на собаку, весом 50 килограммов и стандартной высотой 0,5 метра. Для игры в бадминтон его конструкция была существенно доработана. Инженеры установили на корпус динамическую руку с ракеткой под углом 45 градусов и стереокамеру с двумя объективами для обработки визуальной информации. С этими модификациями общая высота робота достигла 1,6 метра. Вся система управляется 18 суставами: по три на каждой из четырех ног и шесть на руке.
Автором исследования является Юньтао Ма, научный сотрудник в области робототехники, ранее работавший в Швейцарской высшей технической школе Цюриха (ETH Zürich), а в настоящее время — в стартапе Light Robotics. В интервью изданию Live Science он отметил сложность координации визуального восприятия с движением всего тела, назвав это ключевой проблемой проекта.
Обучение робота проходило с использованием метода обучения с подкреплением, где система учится на пробах и ошибках, стремясь максимизировать вознаграждение. Первый этап включал 50 миллионов симуляций на виртуальном корте. Цифровая версия ANYmal училась отслеживать положение виртуальных воланов и прогнозировать их траекторию полета.
В симуляции действовал «виртуальный тренер», который вознаграждал робота за правильное положение ракетки, угол наклона головы и скорость замаха. Дополнительные бонусы начислялись за своевременные удары, эффективное перемещение по корту и отказ от неоправданно высокой скорости. В результате этого процесса была создана нейронная сеть, управляющая всеми 18 суставами робота.
На втором этапе, известном как "Sim-to-Real" (от симуляции к реальности), обученная нейронная сеть была перенесена на физического робота ANYmal. В реальных условиях специальный аппарат подавал ярко-оранжевый волан с контролируемой скоростью, углом и местом приземления. Задача робота состояла в том, чтобы отбить волан с достаточной силой и направить его обратно через сетку в центр корта соперника.
В ходе экспериментов ANYmal продемонстрировал способность поддерживать розыгрыши с человеком-соперником продолжительностью до 10 ударов. Робот научился адаптировать свои движения в зависимости от расстояния до волана. Если волан находился близко (около 0,5 метра), он использовал только руку. На среднем расстоянии (около 1,5 метра) робот быстро перебирал всеми четырьмя ногами.
Для отражения дальних ударов (на расстоянии около 2,2 метра) ANYmal переходил в галоп. Этот аллюр создавал короткий период полета, во время которого робот отрывался от земли, что увеличивало досягаемость его руки на 1 метр. Такое поведение не было запрограммировано заранее, а стало результатом процесса обучения.
Еще одним неожиданным результатом стало «эмерджентное поведение» робота. После каждого удара ANYmal самостоятельно научился возвращаться в центр корта, чтобы подготовиться к следующей подаче, имитируя тактику профессиональных игроков в бадминтон.
Несмотря на успехи, система имеет ограничения. В текущей версии робот не учитывает движения или положение противника для прогнозирования траектории волана. В будущем исследователи планируют внедрить в программное обеспечение «оценку позы человека» для улучшения прогнозирования. Аппаратные усовершенствования могут включать добавление шейного сустава, что позволит роботу дольше отслеживать волан во время движения.
Технологии, разработанные в ходе этого эксперимента, имеют потенциальное применение за пределами спорта. Навыки сочетания динамического визуального восприятия с маневренным движением могут быть использованы в роботах для ликвидации последствий стихийных бедствий, например, при разборе завалов в сложной и непредсказуемой среде.
