Нейросетевые персонажи освоили сложные движения после просмотра роликов с YouTube

Соответствующий алгоритм разработали американские и канадские ученые. Виртуальные герои теперь способны делать покадровую разбивку видео и копировать подмеченные движения.

Нейросетевые персонажи благодаря новому фреймворку освоили сложные движения. Результат проявился после демонстрации им роликов с YouTube, в которых люди выполняли аналогичные движения.

Сначала алгоритм детально исследует каждый кадр ролика, размечает кадры человеческого тела и выполняет согласование с данными смежных кадров. Затем информация передается нейросети, проходящей обучение.

Ученые подчеркивают, что есть несколько методов обучения виртуального персонажа или осязаемого робота сложным движениям, но самым эффективным казалось ручное программирование. Однако это требовало колоссальных временных затрат и больших усилий, а годился такой способ лишь для конкретной задачи. Теперь ученые предложили использовать машинное обучение, с помощью которого процесс автоматизируется, а обученные персонажи смогут подстраиваться под новые условия.

В начале этого года ученые представили алгоритм DeepMimic. С его помощью удалось решить основную проблему машинного обучения – трудоемкость подготовки исходных данных для обучения алгоритма.

Сейчас процесс выглядит примерно так: система получает видеофайл, где демонстрируется, к примеру, выполнение человеком обратного сальто, затем ранее созданный алгоритм для каждого кадра создает трехмерную модель человеческого тела в такой же позе, а другой алгоритм контролирует последовательность моделей для каждого кадра и устраняет неточности. Это позволяет создать модель, которая плавно передвигается между кадрами. Она и обучает виртуальных персонажей сложным движениям. Разработчки даже предусмотрели для нейросетевых персонажей «награду» за успехи в обучении.

Источник