Компания NVIDIA представила значимую исследовательскую труд, которая позволит разработчикам впервые отрисовывать полностью синтетические интерактивные 3D-окружения с помощью модели, обученной на видео реального вселенной.

Исследователи NVIDIA использовали нейросеть для рендеринга синтетического 3D-окружения в реальном времени. В настоящий момент каждый объект в виртуальном вселенной нужно индивидуально моделировать, что затратно как с точки зрения финансов, так и с точки зрения времени. Команда же NVIDIA для отрисовки домов, деревьев и транспорта использует модели, автоматически обученные на видео из реальной жизни.

[embedded content]

Как отмечает NVIDIA, новоиспеченная технология позволит быстро создавать виртуальные миры для игр, автомобильной промышленности, архитектуры, робототехники и виртуальной реальности. Так, сеть может сгенерировать интерактивные сцены на базе локаций реального мира или показать пользователям, как танцуют их излюбленные звезды.

“NVIDIA ищет новые пути создания интерактивной графики вот уже 25 лет, и впервые это стало возможным с поддержкой нейронных сетей. Нейросети – а именно генеративные модели  – кардинально изменят процесс создания графики. Теперь у разработчиков, особенно в игровой сфере и автоиндустрии, затраты на создание сцен станут на порядок меньше”, – говорит Брайан Катанзаро (Bryan Catanzaro), вице-президент по глубокому обучению в NVIDIA, глава данного проекта.

Результат исследования представлен на конференции NIPS в виде простой гоночной игры, где участникам предстоит править машиной в городских локациях. Весь контент отрисовывается интерактивно с помощью нейросети, которая трансформируют скетчи 3D-мира, сделанные на традиционном игровом движке, в видео.

Чтобы добиться подобного уровня интерактивности графики, генеративная нейросеть научилась моделировать миры, включая освещение, материалы и их динамику. Так как подмостки полностью синтетически сгенерирована, ее можно легко редактировать, изменять, удалять и наполнять объектами, объясняет NVIDIA.

“Возможность моделировать и воссоздавать динамику нашего визуального вселенной критически важна при создании интеллектуальных агентов, – отмечают исследователи в своей работе. – Помимо чисто научных заинтересованностей, умение синтезировать визуальные миры имеет целый ряд применений, например, в компьютерном зрении, робототехнике и компьютерной графике”.

Декламируйте также: TITAN RTX – NVIDIA представила самую дорогую и мощную видеокарту в мире.

Прочитайте по теме ещё:

Metropolis – NVIDIA представила платформу видеоанализа, которая должна будет сделать города безопаснее и умнее Metro: Exodus будет использовать технологию трассировки лучей в реальном времени NVIDIA RTX, подтвержден показ технодемки на GDC 2018 Благодаря NVIDIA 100 тысяч разработчиков получат в этом году знания в области ИИ Nvidia представила большое обновление для GeForce Experience – версию 3.0