Ученые из Миланского политехнического университета (Politecnico di Milano) Асаф Али Шахид и Лорис Роведа разработали искусственный интеллект для симулированного гуманоидного робота, названного "Robot Drummer". Проект, идея которого возникла спонтанно за чашкой кофе, был нацелен на исследование возможностей роботов в творческих и экспрессивных сферах, таких как музыка, требующих сложной координации, ритма и физического исполнения.
В основе системы лежит технология обучения с подкреплением (Reinforcement Learning, RL). В рамках этого метода искусственный интеллект, или «агент», обучается путем проб и ошибок. Взаимодействуя с окружением, в данном случае с виртуальной барабанной установкой, система получает математическое «вознаграждение» за правильные действия и «наказывается» за неверные. Конечная цель — найти оптимальную политику действий для максимизации вознаграждения.
Для симуляции использовалась модель гуманоидного робота G1 Unitree. Каждая песня представлялась для ИИ в виде цепочки точно рассчитанных по времени «событий контакта». Эти инструкции указывали роботу, по какому барабану и в какой именно момент необходимо нанести удар. Такой подход позволил системе обрабатывать сложные музыкальные партитуры.
В процессе обучения искусственный интеллект самостоятельно разработал продвинутые барабанные техники. Среди них — использование перекрестных ударов руками (cross-arm strikes) и адаптивное назначение палочек, при котором система сама решала, какой рукой эффективнее нанести тот или иной удар для достижения нужного звучания.
Демонстрация работы системы была опубликована на YouTube. В видеоролике трехмерная визуализация робота G1 играет на барабанной установке с цветовой кодировкой. Система была протестирована на более чем 30 популярных композициях в жанрах поп, рок, метал и джаз.
Исполнение песни "In the end" группы Linkin Park было охарактеризовано как звучащее «немного не в такт». Это демонстрирует, что система еще не достигла идеальной точности в сложных и быстрых ритмических рисунках, характерных для рок-музыки.
В то же время попытка сыграть композицию "Roxanne" группы The Police оказалась более удачной. Ее звучание было описано как «более соответствующее остальной аранжировке», что указывает на способность ИИ адаптироваться к разным стилям и темпам. Исследование было загружено в базу препринтов ArXiv 15 июля.
Несмотря на достигнутый прогресс, общее звучание робота-барабанщика все еще «слегка неточное», что говорит о необходимости дальнейшего обучения. Разработчики подчеркивают, что игра на барабанах — это многогранная задача, требующая от исполнителя идеального чувства времени с точностью до долей секунды.
Кроме того, для успешного исполнения необходимо совершать быстрые контакты с поверхностями барабанов, координировать движения обеих рук и ног, а также поддерживать стабильный ритм на протяжении нескольких минут без ошибок. Эти сложности остаются ключевыми вызовами для роботизированных систем в области музыкального творчества.
Изображение носит иллюстративный характер
В основе системы лежит технология обучения с подкреплением (Reinforcement Learning, RL). В рамках этого метода искусственный интеллект, или «агент», обучается путем проб и ошибок. Взаимодействуя с окружением, в данном случае с виртуальной барабанной установкой, система получает математическое «вознаграждение» за правильные действия и «наказывается» за неверные. Конечная цель — найти оптимальную политику действий для максимизации вознаграждения.
Для симуляции использовалась модель гуманоидного робота G1 Unitree. Каждая песня представлялась для ИИ в виде цепочки точно рассчитанных по времени «событий контакта». Эти инструкции указывали роботу, по какому барабану и в какой именно момент необходимо нанести удар. Такой подход позволил системе обрабатывать сложные музыкальные партитуры.
В процессе обучения искусственный интеллект самостоятельно разработал продвинутые барабанные техники. Среди них — использование перекрестных ударов руками (cross-arm strikes) и адаптивное назначение палочек, при котором система сама решала, какой рукой эффективнее нанести тот или иной удар для достижения нужного звучания.
Демонстрация работы системы была опубликована на YouTube. В видеоролике трехмерная визуализация робота G1 играет на барабанной установке с цветовой кодировкой. Система была протестирована на более чем 30 популярных композициях в жанрах поп, рок, метал и джаз.
Исполнение песни "In the end" группы Linkin Park было охарактеризовано как звучащее «немного не в такт». Это демонстрирует, что система еще не достигла идеальной точности в сложных и быстрых ритмических рисунках, характерных для рок-музыки.
В то же время попытка сыграть композицию "Roxanne" группы The Police оказалась более удачной. Ее звучание было описано как «более соответствующее остальной аранжировке», что указывает на способность ИИ адаптироваться к разным стилям и темпам. Исследование было загружено в базу препринтов ArXiv 15 июля.
Несмотря на достигнутый прогресс, общее звучание робота-барабанщика все еще «слегка неточное», что говорит о необходимости дальнейшего обучения. Разработчики подчеркивают, что игра на барабанах — это многогранная задача, требующая от исполнителя идеального чувства времени с точностью до долей секунды.
Кроме того, для успешного исполнения необходимо совершать быстрые контакты с поверхностями барабанов, координировать движения обеих рук и ног, а также поддерживать стабильный ритм на протяжении нескольких минут без ошибок. Эти сложности остаются ключевыми вызовами для роботизированных систем в области музыкального творчества.
