Simulon научил виртуальных персонажей реагировать на людей

Simulon запустил Reality-Aware Rendering — новый сценарий для iPhone, в котором компьютерные персонажи реагируют на людей, играющих рядом с ними в реальной обстановке. Автор размещает в сцене цифровой «нейронный ассет», записывает действие и передаёт материал приложению для рендера.

Запись превращается в новую игру #

Основатель Дивеш Найду говорит, что после остановки записи Simulon анализирует действия и слова человека, а также окружающее пространство. Затем сервис заново генерирует дубль так, чтобы виртуальный объект ответил на эти сигналы. Итоговый ролик — новая отрендеренная игра сцены, а не копия исходного видео со статичным объектом поверх него.

Такой подход может заметно упростить mixed-reality съёмку. Авторы могут выстроить взаимодействие с помощью телефона и использовать собственные движения с репликами как режиссуру, не анимируя каждый ответ вручную и не составляя длинный промпт. Simulon утверждает, что демонстрационный короткометражный ролик был сделан за один день.

Reality-Aware Rendering уже доступен в приложении Simulon для iPhone. Компания обещает, что следующей появится версия для Android. Основной продукт Simulon также умеет превращать текст, фотографии и наброски в цифровые объекты, размещать их в дополненной реальности и собирать сцены в видео.

Релиз показывает направление AI-видеосервисов, которые используют актёрскую игру как входные данные, а не только письменное описание.