Компания Intel анонсировала выход инновационной программной утилиты, которая позволяет объективно измерять качество изображения в компьютерных играх, использующих технологии масштабирования и генерации кадров. Новый набор инструментов, основанный на модели искусственного интеллекта, получил название Computer Graphics Visual Quality Metric (CGVQM) и уже доступен для загрузки на платформе Github.
Об этом сообщает ProIT
Особенности нового инструмента CGVQM
Современные компьютерные игры часто рендерятся в ненативном разрешении, а технологии повышения частоты кадров, такие как FSR, DLSS или XeSS, нередко приводят к появлению различных визуальных дефектов. Среди них – ореолы, мерцание, шумы, мелкие артефакты, которые ухудшают восприятие картинки. До появления CGVQM эти искажения можно было оценить лишь визуально, без объективных инструментов измерения.
Чтобы решить эту проблему, Intel предложила комплексный подход, описанный в исследовательской статье «CGVQM+D: Computer Graphics Video Quality Metric and Dataset». Во-первых, был создан уникальный набор данных Computer Graphics Visual Quality Dataset (CGVQD), который включает различные типы искажений, в том числе те, что возникают из-за трассировки лучей, нейросуперсемплинга, интерполяции кадров и других технологий. Во-вторых, инженеры обучили нейросеть в реальном времени анализировать качество финального изображения после рендеринга и сравнивать результаты между собой.
Использование искусственного интеллекта и результаты тестирования
Оценки, полученные искусственным интеллектом, были дополнительно согласованы с оценками реальных пользователей. Участники тестирования выставляли баллы различным видам искажений по шкале от «незаметных» до «очень раздражающих». Таким образом, модель получила достоверные эталонные данные для дальнейшего обучения. Для обработки информации была использована трехмерная свёрточная нейросеть (3D-CNN) с остаточными связями ResNet.
В статье утверждается, что модель CGVQM превосходит практически любой другой подобный инструмент оценки качества изображения, по крайней мере на собственном наборе данных. Также исследователи демонстрируют, что их модель неплохо выявляет искажения и в тех случаях, когда собственные данные не использовались.
Несмотря на положительные результаты, исследователи отмечают, что остаются открытые вопросы относительно дальнейшего усовершенствования утилиты. Например, было бы интересно проверить эффективность модели в сочетании с трансформерами, подобными тем, на которых базируется ChatGPT. Однако в настоящее время для этого не хватает необходимых вычислительных ресурсов.