Realtà Virtuale e Percezione: sospesi tra mondi impossibili e nuovi modelli cognitivi.

Mi occupo di realtà virtuale e realtà aumentata applicati all’industria dell’audiovisivo da quasi venti anni. In questi due decenni ho visto prototipi e modelli sperimentali brillanti e ho tratto grande ispirazione dal lavoro fatto dai colleghi di altri centri di ricerca. Tra tutti però il ricordo più vivo è quello del keynote di apertura del SIGGRAPH 2009 durante il quale Will Wright, il designer di The Sims, incentrò il proprio discorso sul “giocare con la percezione“. Lo fece con il suo stile inconfondibile e una lunghissima presentazione che si svolse più come un intelligente serie di rompicapo per i presenti che non come una tediosa serie di slide.

Tra i tanti micro-esperimenti che vivacizzarono quel meraviglioso intervento, uno in particolare mi rimase impresso e mi fece riflettere per molte settimane, facendo poi scaturire una una serie di pubblicazioni e di conseguenze dirette sui prodotti digitali di cui mi occupavo per FOX International Channels. Dopo aver calcolato rapidamente l’età media dei presenti e un’altra serie di parametri socio-demografici grezzi raccolti per alzata di mano, Wright anticipò il risultato di un successivo sondaggio che avrebbe condotto sul rating di carineria di una particolare foto del suo gatto Argon: 65/100. Tutte le altre ebbero in effetti un rating più basso e quella di Argon si attestò esattamente su quell’indice di gradimento.

Perchè quella foto piaceva di più? Come aveva potuto prevedere in modo tanto preciso il risultato senza ricorrere a trucchi da mentalista? Quali relazioni sussistevano tra il dato demografico, un breve sondaggio sulla risposta ad alcuni stimoli visuali (alcune immagini) e quella determinazione così precisa dell’indice di gradimento? Ciò che emergeva, non ignoto ai registi televisivi e cinematografici nonché ai grandi fotografi, è che la composizione e l’inquadratura determinano la grande parte della qualità della percezione del contenuto e del suo significato. Più questi fattori si conformano a pattern stilistici riconoscibili, più rapidamente e facilmente vengono assimilati cognitivamente: la nostra mente opera per comparazione di strutture visuali semplificate della realtà.

In quella foto Argon posava con le zampe vicine al punto di vista della fotocamera mentre la testa era più distante, apparendo più piccola. La testa, così apparentemente rimpicciolita, portava a valutare un bel gattone di cinque kg come più piccolo di quanto non fosse in realtà e a farlo sembrare più “carino”. Se ci pensate, la dimensione fisica di un oggetto ha una relazione diretta con il significato del suo diminutivo linguistico e solo il contesto determina se il diminutivo è in funzione vezzeggiativa o dispregiativa. Un gatto bellamente sdraiato a mo’ di Paolina Bonaparte evidentemente è carino.

Ciò che il piccolo esperimento ci dice dietro le righe è che la capacità del nostro sistema di percezione visiva eccede enormemente quella del sistema di elaborazione cognitiva; di conseguenza la nostra mente è costantemente in funzione nel tentativo analizzare ogni scenario mentale al fine di valutare le possibili risposte a una determinata situazione prima che agiamo consapevolmente di conseguenza. Per poter operare a una velocità sufficientemente alta da non farci sbattere contro il muro prima di aver realizzato che il muro è lì, la mente semplifica e modellizza la realtà riducendola a una “silhouette di senso” della sua complessità. In ogni dato istante, l’immagine che vediamo è rapportata e comparata con le silhouette disponibili “in archivio” e in caso di corrispondenza, applica una risposta adeguata tra quelle precostituite (dalla genetica o dall’esperienza).

Gli scenari mentali canonici, anche geneticamente ereditati, prevalgono su quelli nuovi e su quelli che non possono essere correttamente inquadrati: prima confrontiamo la realtà con i modelli più comuni, poi con quelli meno comuni e anche tra i primi, gli scenari di preservazione della propria incolumità prevalgono su quelli di scoperta e innovazione. E’ per questo che se ci trovassimo di fronte a una tigre appena svoltato l’angolo avremmo una scarica di adrenalina, i nostri muscoli orripilatori si contrarrebbero e faremmo un balzo all’indietro prima ancora di realizzare consciamente che in realtà siamo davanti a un animale impagliato.

Tuttavia se invece di una tigre impagliata ci trovassimo di fronte a un dipinto raffigurante una tigre, avremmo lo stesso tipo di risposta? Ovviamente no, quindi deve esserci una relazione tra la quantità di informazione in ingresso attraverso il sistema visivo e il nostro processo di riconoscimento “inconscio” nel sistema di elaborazione cognitiva. Se la quantità di informazione è insufficiente ad attivare la soglia di matching con il modello mentale, la reazione viscerale e atavica è in qualche modo inibita: la nostra partecipazione al mondo che ci si dipana davanti è più lenta perché deve fare raffronti con tutto il dataset dei nostri modelli mentali e in questo lasso di tempo ha modo di entrare in gioco la percezione cosciente e analitica. La quale non comporta una risposta fredda e asettica a ciò che vediamo quanto una diversa natura delle emozioni che proviamo, spesso simili ma di portata e forza differenti. Nella rappresentazione della realtà intermediata dalla carta o dallo schermo televisivo c’è bisogno di una “violenza” della rappresentazione superiore a quella della realtà per generare una risposta emotiva comparabile. Anche per questo il linguaggio dei media si è imbarbarito ai livelli che purtroppo conosciamo.

Apparentemente, quindi, c’è una soglia minima di informazione che attiva un determinato scenario mentale facendone scaturire le risposte adeguate in modo pre-cosciente. Un incremento di informazione porta a valutare lo scenario in modo diverso, quasi ve ne fossero più versioni a risoluzioni differenti, quindi a comportarci in modo istintivo o analitico. Questo non significa però che incrementando la quantità di informazione ad libitum migliori questa capacità di mapping della realtà alle risposte più pertinenti. Innanzitutto, un incremento di informazione potrebbe far scivolare la realtà oggettiva verso un modello mentale differente (uno sfondo nero con qualche puntino che si muove richiama un cielo stellato ma se il numero di puntini è troppo elevato ecco che ci appare come la nebbia televisiva, con l’aggravante che il punto di soglia è soggettivo e varia da persona a persona rendendo imprevedibile il risultato finale se non su larga scala); in secondo luogo una quantità eccessivamente elevata di informazioni potrebbe superare la nostra capacità di analisi e rimanere del tutto ignorata, sprecando banda e tempo (un campo di grano visto attraverso un vetro smerigliato aumenta la varietà della rappresentazione ma ne condiziona la riconoscibilità). In terzo luogo, la manifestazione di una realtà sorprendente e fuori dal comune, non consente una agile mappatura mentale su schemi precostituiti e potrebbe non aver bisogno di una quantità di informazioni molto elevata per poter essere credibile o, al contrario, una quantità di informazioni elevata non è una condizione sufficiente per farla apparire credibile (per esempio, l’immagine di copertina di questo post è la fotografia di un paesaggio realmente esistente, per quanto a livello inconscio la maggior parte dei lettori giunti fino a questo punto della lettura sarà portata a considerarla, a un primo sguardo distratto, un’immagine di tipo fantasy).

Come ho avuto modo di sperimentare in laboratorio alla fine degli anni ’90 e nei primi anni 2000, e adesso verifico quotidianamente su grande scala grazie alle piattaforme di VR disponibili sul mercato, lo scenario descritto sopra non è del tutto corretto e certamente non direttamente applicabile ai modelli di intrattenimento e immersione virtuali senza opportuni correttivi di natura psico-cognitiva. C’è una qualità dell’informazione proveniente dall’ambiente che ci circonda, apparentemente sotto forma di rumore di fondo e difficilmente misurabile e individuabile, che però determina a livello subconscio il contesto e quindi le soglie interpretative della porzione di realtà sulla quale siamo concentrati. Giocare con la percezione in un ambiente virtuale e sintetico non può fare affidamento su questo rumore informativo, che non fa parte della modellizzazione dell’ambiente VR, e quindi deve fare leva su meccanismi di veridicità della realtà presentata che vanno oltre la velocità e larghezza di banda (la quantità di informazione) e che sono più definiti e orientati dal modo in cui assegnamo il significato alle immagini e ai loro elementi costitutivi; se poniamo in una stessa immagine un gatto, una ragazza e un albero molto probabilmente si costituirà in molti di noi un nesso di senso che ci porta a pensare istantaneamente a “Alice nel paese delle meraviglie”, indipendentemente dal realismo o meno dell’immagine in sè e ci si creerà un’aspettativa che il gatto si metta a parlare.

La ricerca estrema del foto-realismo cui stiamo assistendo in questi primi mesi di vita nel mass market degli strumenti di realtà virtuale e di realtà aumentata, va a discapito del corretto inquadramento dei modelli mentali applicabili ai contesti di immersione e di augmentation e così facendo non coglie il potenziale narrativo e soprattutto il potenziale di incremento della capacità di apprendimento e integrazione delle informazioni da parte dei nostri utenti.

Ciò che sta mancando è una solida analisi delle regole di composizione delle scene virtuali. Tralasciando i videogiochi, che stanno trattando la VR meramente come un display di natura diversa e non vanno molto oltre la ricerca della “sensation“, si sta perdendo l’opportunità di non limitarsi ad avere la “sensazione di essere presenti” ma a ricercare “l’essere presenti”. E non mi riferisco al dotare di risposte interattive l’ambiente circostante, che in un documentario o un film potrebbe non essere una caratteristica necessaria e certamente ha bisogno anche di un linguaggio della narrazione che è ancora assente, ma al fatto che l’ambiente “senta” la nostra presenza e si conformi in modo adeguato senza violare la propria linea narrativa.
Il classico punto di vista della telecamera posta sulla linea di mezzeria di un’autostrada trafficata, con le auto che passano anche “sopra” il punto di ripresa, non può essere ammissibile e non deve essere possibile: un’automobile che ci attraversa è un elemento di rottura della sospensione dell’incredulità (a meno che nella storia non impersoniamo un fantasma  e quindi supporteremo questa peculiare esperienza al di fuori del nostro “archivio esperienziale” con adeguati effetti di contorno). Se ci troviamo su un marciapiedi mentre assistiamo alla conversazione di due protagonisti che avanzano verso di noi, in qualche modo la visual storyline deve rispondere allo scenario e reagire al fatto che noi ci pariamo davanti al loro cammino: i due protagonisti devono aggirarci in uno dei tanti modi possibili.

In un’opera audiovisiva tradizionale, la scelta del punti di vista (la prosizione e il tipo di inquadratura della camera di ripresa) è lo strumento con il quale il registra veicola il tipo di emozione e partecipazione che il regista vuole conferire allo spettatore. Un’inquadratura in quarto dal basso con luce radente è costruita per dare una sensazione di maggiore grandezza del soggetto inquadrato e di contestuale sudditanza psicologica e inquietudine nell’osservante; ed è molto efficace nel riuscirci. In un contesto virtuale immersivo quell’inquadratura corrisponde però al nostro punto di vista “reale” e quindi presuppone che siamo fisicamente inginocchiati o rannicchiati, con il collo piegato e sotto sforzo a osservare dal basso: quella “sensation” solo proiettata dal film deve corrispondere a una sensazione fisica e reale che non può essere all’esterno di noi stessi. Se la promessa dell’inquadratura non coincide con la postura reale, si verifica una grande dissociazione di senso che sbriciola l’intenzione del regista indipendentemente dalla quantità di informazione e dal fotorealismo della scena. Qualora la scena fosse reale e davvero fossimo ai piedi di un malvagio omaccione saremmo inquietati per la figura in sè e per ciò che dice, fa e rappresenta. Ma se siamo “virtualmente” sulla scena i meccanismi bidimensionali di creazione della reazione emotiva del mondo del cinema e della TV non sono adeguati: la storia e la sua meccanica narrativa devono necessariamente essere in grado di offrirci una partecipazione psicologica agli eventi in modo diretto e non intermediato.

Se avete a disposizione un Gear VR o un Oculus Rift, potete cercare un cortometraggio intitolato “Catatonic“. Oggettivamente non si tratta di un gran pezzo di cinema; per di più la qualità in termini di risoluzione è molto bassa e se avete modo di vederlo nella sua versione bidimensionale (qui: https://www.youtube.com/watch?v=hTxJArHZeV0 ) non vi trasmetterà nulla di particolare se non forse un vago senso di follia, più un disprezzo che un disagio. Ma se avrete modo di vederlo in immersione, questo breve filmato assumerà una connotazione, una potenza e un’efficacia narrativa unica e inquietante. Vi sentirete davvero impotenti, catatonici e bloccati, circondati da una realtà alterata che peggiora a mano a mano che il video procede fino ad arrivare a percepire come il vostro io virtuale stia sprofondando nella follia più cupa che inizierete a sentire come la vostra stessa follia. Una risoluzione (banda) più elevata probabilmente vi avrebbe dato troppi elementi realistici sui quali ancorare la vostra sanità mentale e il punto di presa sulla stanza (vera) in cui vi trovate, distruggendo l’immedesimazione cui invece siete stati sottoposti.

Ancora, nel mondo virtuale si amplificano le ripercussioni dei principi dell’animazione classica introdotti da Ollie Johnston e Frank Thomas negli anni ’20 del secolo scorso. Una rappresentazione a bassa fedeltà di una strada cittadina, con gli edifici costituiti da cubi monocolore che ci sfrecciano accanto molto velocemente può essere efficiente e partecipativa di una ricostruzione foto-realistica con un numero di fotogrammi per secondo basso e gli edifici che scorrono più lentamente o con minore fluidità; se raddoppiassimo la dimensione dei cubi nella versione a bassa fedeltà, avremo la sensazione di un movimento più lento del veicolo (lasciando inalterata la geometrica) o di edifici più grandi a parità di velocità (distorcendo lievemente gli edifici) a seconda che vogliamo dare alla frequenza di aggiornamento la priorità o meno sulla velocità di movimento. In un contesto foto-realistico ad altissima risoluzione, invece, la dimensione dell’edificio passa cognitivamente in secondo piano, soverchiata da una quantità di dettagli troppo alta per poter essere analiticamente percepita e avremo una maggiorata sensazione di lentezza del movimento rispetto alla scala della scena riprodotta: faremmo fatica a concentrarci su qualcosa e se riuscissimo a farlo, tutto quel dettaglio sarebbe inutile.

Purtroppo l’industria, anche se appena nata, già spinge per diverse ragioni nella direzione di una massiccia acquisizione di risorse tecniche: avrete bisogno di PC molto potenti, schede grafiche ai limiti della capacità odierna nel mondo consumer, di modelli grafici estremamente dettagliati e schermi con risoluzioni elevatissime che richiedono ulteriore potenza di calcolo. Le ragioni sono varie: una effettiva necessità di potenza per generare immagini stabili che non portino all’insorgenza di nausea, una certa ritrosia del mercato ad aggiornare il parco macchine di ultima generazione che pure sono vitali e necessarie per chi produce i sistemi operativi odierni, il mercato stagnante dei PC che ha già visto vittime illustri annientate da vendite troppo basse; tutte argomentazioni valide per l’industria tecnologica ma non strettamente necessarie per la qualità della componente di intrattenimento. Soprattutto di nessuna rilevanza ai fini della costituzione di un compendio analitico delle regole del gioco.

Anziché porci unicamente il problema della quantità di informazione visuale da sostenere (e quindi creare e alimentare), che è appunto un problema tecnologico, dovremmo porci il problema di incrementare la quantità di informazioni di senso presenti sulla scena. Che ruolo vogliamo dare ai contenuti e alle informazioni? Quale ruolo per i contenuti creati dagli utenti? Qual è il modo più efficiente di presentare queste informazioni in modo contestuale senza superare le soglie di attivazione di scenari mentali non congrui? Quali sono gli scenari mentali rilevanti per l’industria dell’intrattenimento nel nuovo palcoscenico della realtà virtuale e della realtà aumentata? Quanta capacità cognitiva dell’utente è assorbita nella semplice acquisizione di queste informazioni e quali comportamenti vengono alterati rispetto a quelli degli altri soggetti che non le hanno a disposizione? Come confliggono i comportamenti reali tra le due classi di utenti e come minimizziamo quelli che vanno in clash per non creare un gap cognitivo o, peggio, un rischio reale per le persone?

Sono i temi che realmente dovrebbero essere nell’agenda di chi, come noi, produce contenuto e definisce le modalità di interazione del prossimo decennio. Come il successo di PokemonGo sta a a dimostrare, c’è un enorme potenziale nell’integrazione di narrative immersive all’interno degli spazi fisici ma come gli incidenti e lo sfruttamento per finalità criminali di questo gioco ugualmente dimostrano, c’è una necessità e una responsabilità oggettiva a non limitarsi a considerare cavalcare la VR e la AR come un “nuovo schermo” la cui partita si gioca unicamente sul differenziale creativo ma a definire le nuove regole del gioco e a incanalare la creatività all’interno della nuova sintassi audiovisiva.

* L’immagine di copertina è di Diego Delso – Tramonto visto da dietro le cascate Seljalandsfoss, a Suðurland, Islanda. Le cascate del fiume Seljalandsá precipitano per 60 metri sulla scogliera.