AI rendert GTA 5 in fotorealistischer Grafik

Am Beispiel von GTA 5 zeigen KI-Forscher von Intel, wie künstliche Intelligenz Fotorealismus in Videospielen ermöglichen könnte, ohne die Rechenleistung massiv zu steigern.

Von einfachen Pacman-Pixeln bis hin zu komplexen, beleuchteten, hochauflösenden 3D-Cyberwelten: Die Computergrafik hat sich in den letzten Jahrzehnten massiv verbessert. Vom Fotorealismus sind digitale 3D-Welten aber noch weit entfernt.

Lässt sich Fotorealismus linear erreichen, dh mit immer leistungsfähigerer Hardware und effizienterer Software? Möglich – aber vielleicht gibt es für diesen langen, teuren und vor allem für Entwickler in jeder Hinsicht komplexen Weg eine Abkürzung: neue Rendering-Methoden mit KI.

GTA V in fotorealistisch: Nur eine Frage des Stils?

Forscher von Intels Innovationseinheit Intel Labs experimentieren mit einer neuen KI-Rendering-Methode, die einer bestehenden 3D-Welt Fotorealismus hinzufügt, indem sie Pixel neu anordnet und einfärbt, um ein fotorealistisches Aussehen zu erzeugen.

Das heißt, der fotorealistische Stil wird nachträglich auf die Computerwelt übertragen, sodass der technisch anspruchsvolle Fotorealismus nicht von Grund auf in der 3D-Engine erstellt werden muss. Diese Renderfilterlogik umgeht den komplexen Modellierungsprozess, da die Struktur der ursprünglichen 3D-Szene vollständig erhalten bleibt.

Das KI-Verfahren verleiht den Autos, der Vegetation und den Straßentexturen vor allem ein fotorealistisches Aussehen, da diese Elemente besonders häufig in den Trainingsdaten vorkommen. | Bild: Intel Labs

Beispielsweise erneuert die Render-KI die Straßen mit realistischeren Texturen, verleiht den Autos einen authentischen Glanzeffekt und verbessert die Grafik der Umgebung mit mehr Vegetation.

Die Forscher trainierten das erzeugende künstliche neuronale Netz (CNN) mit verschiedenen Datensätzen, die Aufnahmen realer Straßen aus der Perspektive einer Autokamera enthielten. Die Auswahl des Trainingsdatensatzes beeinflusst die grafische Verarbeitung durch das neuronale Netz.

Je nach Trainingsdatensatz unterscheidet sich die KI-Grafikausgabe. Der Cityscapes-Datensatz unten links basiert auf dem deutschen Klima und Verkehr. | Bild: Intel Labs

Der Nachteil dieser bisher erprobten Methode besteht darin, dass die generierten 3D-Szenen für den Entwickler nur schwer kontrollierbar sind, gerade weil sie von der eigentlichen Modellierung entkoppelt sind, und häufig Bildfehler enthalten.

AI Generator verwendet 3D-Daten aus der Spiel-Engine

In ihrem Experiment verschmelzen die Intel-Forscher Stephan R. Richter, Hassan Abu Alhaija und Vladlen Kolten klassisches Rendering und die generierende KI enger, indem sie geometrische Daten („G-Buffer“) der 3D-Engine dem generierenden neuronalen Netz wie z die Entfernungen zwischen Objekten und Informationen über die Beleuchtung einer Szene.

Diese Fusion und einige Verbesserungen am KI-Modell sollen laut den Forschern dafür sorgen, dass ihr Ansatz weniger Bildfehler erzeugt als vergleichbare bisherige Versuche. Ihre Ergebnisse zeigen sie in Vergleichsbildern und -videos sowie auf der Projekt-Website.

Die Intel-Forscher sind von ihrer Arbeit überzeugt: „Unser Ansatz verbessert den Realismus von gerenderten Bildern signifikant“, heißt es im Fazit des Forschungspapiers.

Das KI-Rendering funktioniert besonders gut, wenn es darum geht, realistische Straßentexturen, Autos und Vegetation zu generieren. Hingegen würden Objekte und Szenen, die in der Realität und damit im Trainingsdatensatz seltener vorkommen, wie etwa Fußgänger in der Nähe, weniger überzeugend dargestellt.

Die derzeit nicht optimierte KI-Implementierung in GTA V benötigt den Forschern zufolge rund eine halbe Sekunde Rechenzeit auf einer schnellen Nvidia RTX 3090-Grafikkarte. Sie gehen davon aus, dass das KI-Rendering tiefer und damit effizienter in 3D-Engines integriert werden kann, was realistischere Grafiken ermöglicht.

Ähnlich wie beim revolutionären KI-Upscaling zeigt die Arbeit der Intel-Forscher, dass neuartige KI-Software 3D-Welten und Computergrafiken in den nächsten Jahren schneller voranbringen wird, als es immer leistungsfähigere Hardware allein könnte.

Mehr zum Thema Künstliche Intelligenz für Computergrafik erfahren Sie in unserem DEEP MINDS KI-Podcast zum Thema.

Quellen: Intel, Via: Gizmodo

Lesen Sie mehr über KI und Gaming:

Hinweis: Links zu Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn Sie über diesen Link kaufen, erhält MIXED.de vom Verkäufer eine Provision. Der Preis ändert sich für Sie nicht.