GTA 5 ultra realistico con le mod: il fotorealismo è davvero possibile?

Sono anni che si parla di fotorealismo nel mondo dei videogiochi: si tratta di fatto una delle parole più utilizzate - talvolta in maniera impropria - nella descrizione di un titolo, tanto nelle note ufficiali quanto nei commenti sui forum. Ma di cosa si tratta? È davvero il traguardo che grafici e sviluppatori cercano di raggiungere? In questo articolo cercheremo di offrivi una panoramica sull'argomento in questione, a partire dalla radice concettuale del termine. Nel frattempo, vi invitiamo anche a leggere il nostro speciale nel mondo dell'intelligenza artificiale nei videogiochi.

L'evoluzione del fotorealismo

Il concetto di fotorealismo è nato sul finire degli anni '70 nell'ambiente artistico, per definire la ricerca di un assoluto realismo nella riproduzione dei soggetti al centro di dipinti o disegni. Questo filone è poi sfociato nell'iperrealismo con risultati incredibili, ma è con l'avvento della grafica computerizzata che è diventato un vero e proprio fenomeno di massa, dapprima col contributo dell'evoluzione degli effetti speciali cinematografici, e successivamente grazie all'industria videoludica, divenuta nel tempo un incredibile incubatore per l'innovazione tecnica.

Vale la pena di precisare che fotorealismo rappresenta un obiettivo ambizioso, sia sul piano scientifico che su quello tecnico e artistico: la mente è un giudice severo ed attento, bravissima a notare errori o divergenze dalla realtà, e per questo raggiungere una piena verosimiglianza è una sfida difficile da vincere. Difficile ma non impossibile.

D'altronde nei videogiochi si parla di "fotorealismo" da parecchi anni, da molto prima che l'hardware fosse in grado anche solo avvicinarsi all'obiettivo, e questa tendenza l'ha resto un termine un po' abusato, dato che troppo spesso sviluppatori, modder e videogiocatori scambiano un determinato stile grafico per una rappresentazione davvero convincente della realtà.

Con l'avvento del ray tracing accelerato via hardware, la ricerca e l'ottenimento del fotorealismo hanno fatto importanti passi in avanti, anche se allo stato attuale i risultati mostrano ancora una quantità variabile di eccessi, tra scenari strapieni di superfici riflettenti, fonti luminose di ogni forma e colore, ed una simulazione della luce globale sacrificata in nome della sovrasaturazione. Youtube è pieno di video di giochi modificati con reshade ed altri algoritmi che aggiungono il ray tracing e che si autoproclamano "ultra realistici", ma a dirla tutta perfino i videogiochi tecnicamente più avanzati non rispecchiano affatto questa definizione. Quello che propongono è a tutti gli effetti una interpretazione della realtà, limitata o guidata da scelte artistiche e limiti tecnici, e di fatto lontanissima dal vero fotorealismo. In fondo la realtà è piena di "difetti": graffi, polvere, buchi, ammaccature e deformazioni che influiscono sulla diffusione luminosa assieme alle caratteristiche proprie di un materiale, mai totalmente trasparente o riflettente.

E se parliamo degli oggetti nel mondo reale, non ce n'è uno uguale all'altro, soprattutto quelli di origine naturale. I limiti dell'attuale tecnologia (in real time) rendono possibile un "quasi fotorealismo" in ambienti piccoli, e necessitano di un enorme lavoro di modellazione, texturing e shading.

Ultimamente, però, l'evoluzione del machine learning, a braccetto con la disponibilità di enormi set di dati con cui "addestrare" gli algoritmi, sta dando vita ad intelligenze artificiali in grado di riprodurre la realtà con un buon grado di successo, e a questo proposito vogliamo raccontarvi i risultati dello studio di un gruppo di sviluppatori che ha usato Grand Theft Auto V come base per il proprio progetto (a proposito, avete letto la nostra recensione di Grand Theft Auto V). Si tratta di un'intelligenza artificiale a cui è stato insegnato a riconoscere gli elementi di una città e a sostituirli "al volo" con una controparte reale estrapolata da un enorme set di foto: il risultato è a tratti straordinario, per quanto in bassa definizione.

La nuova realtà simulata

Nel video pubblicato dal team si nota come le immagini della scena ricostruita dall'intelligenza artificiale siano molto meno sature e "artificiali" rispetto all'originale. Dal momento che il dataset con il quale è stata istruita l'IA è in gran parte basato su foto e video di città tedesche, i colori e lo stile dell'insieme risultano ben diversi da quelli del materiale di base: l'asfalto appare più omogeneo, le superfici delle auto riflettono la luce in maniera più credibile, mentre il cielo nuvoloso manifesta un grado di realismo nettamente superiore.

GTA V

GTA V MOD (Cityscapes)

Uno degli "errori" più evidenti legati all'azione dell'algoritmo è la trasformazione delle montagne, in origine piuttosto brulle, in colline ricoperte della vegetazione tipica delle foreste tedesche. Ovviamente cambiando le immagini con cui viene istruita l'IA, ed utilizzando un dataset più simile a quello di GTA V, si possono ottenere risultati più coerenti con i panorami californiani.

Utilizzando il vasto catalogo di Mapillary Vistas, lo stesso algoritmo restituisce infatti immagini più sature, e risolve il problema delle montagne in lontananza, non più ricoperte di verdi foreste, ma spoglie e rocciose, esattamente come nel videogioco. Uno dei vantaggi di questa tecnologia, che non è certo concettualmente inedita, è la qualità generale del processo di "sostituzione" degli elementi grafici: gli oggetti, le texture, l'illuminazione mantengono infatti una notevole coerenza con la scena originale.

Questa IA funziona così bene perché utilizza anche una serie di informazioni geometriche, estratte direttamente dal motore di gioco: si tratta dei classici buffer video, presenti in ogni motore 3D moderno, che contengono informazioni tridimensionali sotto forma di immagini bidimensionali. Dati che riguardano la direzione verso cui la luce compie il primo "rimbalzo", la distanza della telecamera, e informazioni sui materiali come l'albedo (ovvero il colore di ogni pixel) o la lucentezza.

Chiaramente gli sviluppatori hanno aiutato l'intelligenza artificiale nel suo percorso di apprendimento, eliminando dal dataset tutti gli elementi superflui: dalle foto reali sono state estrapolate le sezioni più simili agli oggetti presenti nel gioco, e questo è stato fatto grazie al lavoro di un'altra IA, tramite un processo completamente automatico.

GTA V

GTA V MOD (Mapillary Vistas)

In molti potrebbero obiettare che si tratta solo di un test, e che non vedremo mai questa tecnologia applicata ai videogiochi, ma la realtà è che già ora assistiamo su base quotidiana all'operato di intelligenze artificiali molto complesse, come quelle alla base dei filtri grafici dei social network più popolari. Quello che ancora manca è la potenza necessaria per applicare filtri così complessi senza errori, in tempo reale, e a frame rate e risoluzioni molto elevate, in linea con le esigenze dei moderni videogiochi.

La tecnologia di hardware e software avanza senza sosta e prima o poi ci arriveremo, ma resta comunque una domanda: è davvero il fotorealismo quello che cerchiamo nella grafica dei videogiochi? Fateci sapere cosa ne pensate nello spazio dedicato ai commenti.