После многочисленной критики реализации новой версии апскейлера NVIDIA DLSS 5 ютубер Дэниел Оуэн обратился к компании с серией детальных вопросов о механизме работы этой технологии. На его обращение ответил представитель NVIDIA Джейкоб Фримен, подробно объяснив принципы функционирования DLSS 5.
Об этом сообщает ProIT
DLSS 5: как работает генеративная модель ИИ
Среди ключевых вопросов Оуэна было: действительно ли DLSS 5 использует лишь скриншот изображения вместе с векторами движения для создания итогового результата? Фримен подтвердил, что именно так и происходит основной процесс: исходный кадр пропускается через генеративную модель искусственного интеллекта для улучшения качества, а окончательное изображение рендерится поверх игрового движка.
Оуэн также поинтересовался, анализирует ли DLSS 5 3D-геометрию и глубину, или ограничивается только обработкой скриншота в соответствии с анализом изображения. На это представитель NVIDIA отметил, что:
“DLSS 5 обучается от начала до конца, чтобы понимать сложную семантику сцены, такую как персонажи, волосы, ткани и полупрозрачная кожа, а также условия освещения окружающей среды, такие как фронтальное освещение, освещение сзади или пасмурная погода — все это путем анализа одного кадра”.
Из этого ответа ютубер сделал вывод, что DLSS 5 фактически не использует данные о 3D-геометрии. Однако в некоторых случаях, по наблюдениям Оуэна, текстуры после обработки могут изменяться, даже если базовая геометрия остается той же. В качестве примера он привел персонажа из Starfield, у которого после применения DLSS 5 появилось больше волос на левой виске.
Особенности работы с PBR-материалами и контроль разработчиков
В официальном руководстве NVIDIA отмечается, что DLSS 5 улучшает свойства PBR-материалов. Оуэн уточнил, использует ли апскейлер в качестве входных данных спецификации PBR, заложенные в игровой движок, например, свойства материалов, шероховатость, карты нормалей. По словам Фримена, DLSS 5 получает на вход только отрендеренные кадры и векторы движения, а конечный результат формируется только на основе этих данных. Это, по мнению Оуэна, ставит под сомнение официальные заявления о улучшении PBR-свойств.
Ютубер также поинтересовался, имеют ли разработчики игр возможность контролировать аспекты апскейлинга, например, цветокоррекцию или рендеринг отдельных персонажей. В частности, он привел случай, когда персонажка Грейс Эшкрофт из RE: Requiem получила макияж после обработки DLSS 5, хотя в оригинале его не было. Представитель NVIDIA не дал четкого ответа на этот вопрос, отметив лишь, что DLSS 5 в настоящее время оперирует исключительно пространством исходного изображения и не учитывает дополнительные источники света за его пределами, такие как преломление или тени, формируемые окружающей средой.
Это свидетельствует о том, что апскейлер не применяет алгоритмы рейтрейсинга. Оуэн заметил, что это может поставить под сомнение целесообразность активации DLSS 5 для геймеров, поскольку он не учитывает сложные вычисления, которые требуют значительных ресурсов.
Ранее сообщалось, что DLSS 5 вызвала беспокойство среди разработчиков Resident Evil Requiem. Уникальность подхода заключается в том, что DLSS 5 не просто рендерит каждый кадр, а дополнительно анализирует динамические и цветовые векторы, применяя ИИ для создания улучшенного освещения и повышенной детализации.