Grand Theft Auto obtient un lifting CNN

Des chercheurs d’Intel Lab ont aménagé Grand Theft Auto V pour lui donner un aspect presque photoréaliste. L’équipe a modifié les graphiques en entraînant les CNN sur des images du monde réel, puis a appliqué les données d’entraînement aux images rendues du jeu.

Jetons un coup d’œil aux recherches qui ont rendu cela possible.

Recherche

Une équipe de chercheurs, comprenant Stephan R. Richter, Hassan Abu AlHaija et Vladlen Koltun, d’Intel Lab, a proposé la nouvelle approche pour améliorer le réalisme des images synthétiques. Dans le document de recherche intitulé «Amélioration de l’amélioration du photoréalisme», l’équipe présente un modèle CNN pour améliorer les images en tirant parti des représentations intermédiaires produites par les pipelines de rendu traditionnels.

Le réseau est formé à travers un nouvel objectif contradictoire, fournissant une supervision solide à plusieurs niveaux de perception. Les chercheurs ont analysé les distributions de mise en page des scènes dans les ensembles de données et proposé une nouvelle stratégie d’échantillonnage des correctifs d’image pendant la formation.

L’équipe a introduit plusieurs améliorations architecturales dans les modules de réseau profond utilisés pour l’amélioration du photoréalisme.

«Notre point de départ est un ensemble de tampons intermédiaires (G-buffers) produits par les moteurs de jeu pendant le processus de rendu. Ces tampons fournissent des informations détaillées sur la géométrie, les matériaux et l’éclairage de la scène. Nous formons des réseaux convolutifs avec ces entrées auxiliaires pour améliorer le réalisme des images produites par le pipeline de rendu », ont déclaré les chercheurs. L’approche a abouti à des voitures brillantes, des routes lisses et une bonne verdure. L’équipe a pris des images rendues à partir de jeux GTA V (à gauche de l’image) et a apporté des améliorations (à droite).

Le procédé consiste en un réseau d’amélioration d’image, qui prend en entrée une image rendue et sort une image améliorée. Les tampons G sont capables d’identifier divers détails, tels que la géométrie de la scène, les matériaux, la texture, l’éclairage, etc.

Les caractéristiques G-buffer sont introduites dans le réseau d’amélioration d’image, où elles sont utilisées pour moduler les caractéristiques d’image. Le HRNetV2 est utilisé pour construire le réseau d’amélioration de l’image. Le HRNet divise une image en plusieurs branches, dont chacune fonctionne à une résolution différente. Pour maintenir une structure d’image fine, un flux de fonctions est maintenu à une résolution raisonnablement élevée (environ 1/4 de la résolution d’entrée).

«Notre approche améliore considérablement le réalisme des images rendues. Ceci est confirmé par une évaluation complète de notre méthode par rapport à des bases de référence solides. Intuitivement, notre méthode obtient les résultats les plus forts et les plus cohérents pour les objets et les scènes qui ont des correspondances claires dans le jeu de données réel; notre méthode excelle dans les textures routières, les voitures et la végétation », selon les chercheurs.

Emballer

La méthode génère des améliorations de haute qualité qui sont géométriquement et sémantiquement compatibles avec les images d’origine tout en correspondant à la conception de l’ensemble de données. Chaque détail infime de l’image est modifié pour offrir une expérience de jeu immersive.

Selon les chercheurs du laboratoire Intel, leur méthode intègre des approches basées sur l’apprentissage avec des pipelines de rendu en temps réel conventionnels. «Puisque les Gbuffers qui sont utilisés comme entrée sont produits nativement sur le GPU, notre méthode pourrait être intégrée plus profondément dans les moteurs de jeu, augmentant ainsi l’efficacité et peut-être encore améliorant le niveau de réalisme», selon les chercheurs. Les chercheurs ont signalé des gains substantiels de stabilité et de réalisme par rapport aux méthodes récentes de traduction d’image à image et à une variété d’autres lignes de base.

De 2021 à 2026, le marché du GPU de jeu devrait croître à un TCAC de 14,1%, selon le rapport sur le marché du GPU de jeu.


Rejoignez notre groupe Telegram. Faites partie d’une communauté en ligne engageante. Rejoignez-nous ici.

Abonnez-vous à notre newsletter

Recevez les dernières mises à jour et les offres pertinentes en partageant votre e-mail.

Kumar Gandharv

Kumar Gandharv, DPI en journalisme anglais (IIMC, Delhi), entreprend un voyage en tant que journaliste technique à l’AIM. Un observateur attentif des nouvelles nationales et liées aux RI. Il adore aller au gymnase. Contacter: [email protected]

Laisser un commentaire