Non c’è nulla di meglio di una visita al museo per impegnare il proprio tempo a godere dell’arte e del pensiero altrui

In tempi di domicilio forzato dalla crisi del COVID-19, ho pensato che sarebbe stato bello poter trasformare la nostra passione di retro-archeologi in un’occasione virtuale e sicura per realizzare un museo collaborativo nel quale chiunque possa esporre e donare agli altri una parte di ciò che ha e che sa.

È nato così il progetto del museo virtuale che prenderà forma temporaneamente qui, su questo sito, volta per volta in base al contributo della comunità e alla voglia che mi rimarrà dopo aver preso atto che non gliene frega niente a nessuno.

Come dicevo, l’idea è di mettere a disposizione uno spazio espositivo per chi ha macchine, software, aneddoti, storie e informazioni sulla tecnologia informatica dagli albori fino al 1990. Chiunque può aiutare, contribuendo ad alimentare e riempire questo museo con

• Modelli 3D di computer (formato FBX, DAE, OBJ)
• Testi originali e schede tecniche da presentare vicino ai materiali esposti
• Video storici o prodotti in proprio per l’area “open cinema” del museo
• Video di se stessi ripresi su sfondo verde così da poter essere integrati come ologrammi in prossimità delle macchine di cui si parla
• Idee, idee, idee

Chi vuole e ha tempo da perdere può seguire gli sviluppi facendosi un giro del museo in costruzione usando Chrome (o qualsiasi browser che supporti WebGL 2.0) e seguendo il link in calce a questo post

Ora qualche nota prima di avventurarvi nei meandri del museo. L’interfaccia di presentazione è ancora inesistente, i controlli di movimento molto basilari: girate la testa con il mouse, vi spostate con il joystick o con i tasti WASD. Tenendo premuto il tasto SHIFT potete correre, premendo la BARRA DI SPAZIO potete saltare… ma al museo è vietato correre e saltare quindi non escludo di introdurre un vigilante che vi redarguisca se rompete qualcosa!

All’inizio dell’esperienza la telecamera si trova già all’interno dell’edificio (non ho ancora completato l’esterno, dove ci sarà modo – se avrò tempo – di sedersi in un cinema all’aperto per vedere alcuni documentari e video in tema.

Questi primi rilasci riguarderanno solo l’architettura generale (anche se per puro divertimento ho inserito tre pezzi nella collezione, anche se non illuminati e un po’ da scovare gironzolando). Mi servono per verificare innanzitutto la congruenza dello scenario e poi per tarare il miglior compromesso tra la complessità della scena e la qualità del rendering rispetto alle macchine medie che userete per entrare; in questo caso, sono attivi molti abbellimenti che mi servono solo per compiere questi test. Riflessi e sbrilluccichii vari scompariranno nelle prossime versioni a mano a mano che tarerò il rendering per una qualità media accettabile da tutti.

Tenete presente che questo sito ha solo 2mbit/s di banda in uscita (lo so… “ner dumilaventi sto ancora messo così”; di conseguenza, aspettatevi tempi di caricamento di un paio di minuti o maggiori se ci sono più utenti a scaricare contemporaneamente. Salvo cambi di release, lo scaricamento è intelligente e fa ampio uso della cache del vostro browser quindi i caricamenti successivi dovrebbero essere più rapidi.

Commenti e suggerimenti sono richiesti, oltre che ben accetti.

Insulti>/dev/null

BUG NOTI

• all’esterno del Museo, il pavimento non è un oggetto fisico e quindi la telecamera precipita nel vuoto. Portatevi il paracadute se decidete di non ascoltarmi.
• la sensibilità del mouse è troppo accentuata (piccoli movimenti)
• su alcune macchine con schede grafiche con meno di 2GB di RAM, il movimento può essere un po’ scattoso e il framerate crollare.
• lo shader delle vetrinette fumé diventa più scuro quando ci si avvicina. In realtà non è un bug perché la logica che sto preparando è che quando l’utente si avvicina a una vetrinata, si accende una luce interna. L’oscuramento del vetro in realtà è un’inversione delle normali (diciamo che “il riflesso si inverte ed è diretto solo verso l’interno”) così che l’oggetto sia illuminato ma la luce non illumini anche l’ambiente circostante.
• All’interno del cinema il pavimento non è un oggetto fisico, quindi la telecamera precipita nel vuoto.

AGGIORNAMENTI

24/03/2020

• Creata la struttura per il cinema, situato nel cortile sud del Museo. La pavimentazione non è ancora un corpo “fisico”, quindi entrando cadrete nel vuoto.
• In attesa di creare la biglietteria del cinema, dove “acquistare” i biglietti per i diversi contenuti che saranno in cartellone, per entrare e sedersi premere “C” (per Cinema). Per tornare al museo premere “M” (per Museo).
• All’interno della sala cinema, il controllo di movimento della testa è diverso da quello del museo (piccolo esperimento). Premere il tasto destro del mouse per attivare il controllo della testa e premere ESC per visualizzare nuovamente il puntatore del mouse. Quando si è seduti al cinema, i tasti di avanzamento (W) e di ritorno indietro (S) effettuano rispettivamente uno zoom-in e uno zoom-out.
• Ampliato l’angolo visuale della telecamera a 65°. Questo dovrebbe rendere più confortevole spostarsi all’interno del museo
• La dimensione della demo è raddoppiata poiché contiene anche il video di prova (non ho ancora abilitato lo streaming). Però il video non è ancora visibile sullo schermo del cinema perché lo shader per HTML5 è ancora incompleto.

ANCORA QUI E CONVINTI DI VOLER PROVARE?

Se siete ancora qui e siete convinti di provare seguite il link qui sotto:

ENTRA NEL MUSEO

L'articolo Piccoli musei crescono proviene da The nice place magazine.

Il brand che ha rilanciato la realtà virtuale per le masse dopo due decenni di agonia, ha investito fin da subito sui contenuti ma mentre l’industria si orientava verso un adattamento dei videogiochi più noti, la giovane azienda si è data il ruolo sfidante di apripista nella creazione di una terza via all’intrattenimento cinematografico.

In Italia e in Europa la cerimonia non ha avuto la risonanza della notte degli Oscar ma questo premio segna un punto di non ritorno per l’intera industria dell’audiovisivo. Il peso di questo riconoscimento è enorme, paragonabile a quello dell’Oscar assegnato a John Lasseter per Tin Toy nel 1989 che sancì l’ingresso della computer graphics nel novero delle arti pregiate stimolando ricercatori e tecnici a proseguirne l’evoluzione. Il culmine di un processo di innovazione che si affermò definitivamente nel 1996 con Toy Story, primo vero lungometraggio di animazione digitale che chiudeva un decennio di incredibile investimento economico in ricerca pura per aprire la seconda via al cinema, oggi costellata di storie divertenti, profonde e incredibilmente capaci di muovere le emozioni più viscerali dello spettatore.

E’ lecito attendersi un periodo di crescita inflazionaria (in senso cosmologico) del mercato, ancora nella sua infanzia ma già invaso da un pletora di dispositivi di visualizzazione che vanno da scatolette di bassa qualità agli anticipatissimi e avanzatissimi Oculus Rift , HTC Vive di Steam, l’ormai in arrivo Morpheus di Sony per la Playstation e la soluzione bare bones costituita dai Google Cardboard.

Nell’ultimo triennio abbiamo iniziato a assistere all’invasione di software che sfrutta le caratteristiche di questi dispositivi e apre all’esplorazione di un nuovo modo di comunicare. In molti casi si tratta banalmente di adattamenti di giochi pre-esistenti, la cui meccanica e punto di ripresa si prestano a una trasposizione pressoché diretta; in alcuni casi invece ci troviamo di fronte a primi tentativi di costruire qualcosa che non sia semplicemente veicolo di immersione in una virtualità che rimane “altra” rispetto all’osservatore ma che lo porti invece a farne attivamente e coscientemente parte.

Siamo solo agli albori della seconda giovinezza delle realtà sintetiche e, se in parte è superata la barriera tecnologica alla fruizione di contenuto, non vi sono ancora gli strumenti e le tecniche specifiche per la produzione degli stessi. Sarà interessante osservare l’evoluzione delle tecniche narrative e contenutistiche a mano a mano che questi strumenti emergeranno e si raffineranno.

Questa mancanza di strumenti e di processi consolidati, pone questo cinema emergente nel campo del pionierismo assoluto e chiede a chi vi si avventuri di dotarsi del miglior mix di figure professionali per condurre in porto i progetti. In questo post vorrei porre l’accento e sottolineare quelle capacità e competenze differenziali necessarie rispetto a quelle già tipiche delle produzioni televisive e cinematografiche.

Per comprendere le esigenze specifiche è necessario innanzitutto inquadrare a quali realtà si rivolgono le nostre considerazioni. Perché quando parliamo in generale di “realtà virtuale” nel lessico comune si perde la sostanziale differenza tra le forme di realtà più o meno sintetiche, differenza che conducone a sua volta a diverse modalità di fruizione del contenuto e esigenze di produzione.

Nella linea ideale che unisce una realtà totalmente virtuale alla realtà che sperimentiamo tutti i giorni, si sono affermate tre diverse forme di virtualità: esiste una Realtà Virtuale propriamente detta (VR), una Realtà Aumentata (AR) e una Virtualità Aumentata (AV).

La VR è una realtà che si sostanzia esclusivamente in ambientazioni e attraverso oggetti di sintesi presentati mediante un visore che occupa l’intero campo visivo di chi lo indossa. Lo spettatore è completamente immerso nella realtà che sperimenta e gli unici contatti che ha con il mondo esterno sono rappresentati da altre stimolazioni sensoriali (es. il tatto) veicolate da oggetti reali opportunamente disposti o da azioni dirette esercitate da attuatori meccanici (es. guanti per realtà virtuale).

Lo scopo della VR è di estrarre lo spettatore dal contesto fisico in cui si trova per portarlo altrove in una totale corrispondenza tra ciò che vede e ciò che è portato a percepire. Nella realtà virtuale la domanda “dove sei?” rivolta a chi indossa il visore ha perfettamente senso, anche se materialmente sappiamo che si trova proprio lì davanti a noi nella stessa stanza.

La AR inverte il rapporto e invece di isolare l’utente all’interno di un mondo separato, introduce elementi di sintesi nella realtà che sperimentiamoogni giorno aumentando la nostra percezione e consapevolezza dell’ambiente che ci circonda. Lo spettatore si muove liberamente nello spazio e attraverso un complesso sistema di rilevazione dei movimenti del capo, del punto di osservazione e della posizione degli oggetti e manufatti circostanti e di proiezione grafica inserisce le informazioni “aumentate” nel suo campo visivo.

Gli usi sono i più svariati: dal supporto remoto a un tecnico alle prese con una riparazione complessa, alla guida turistica virtuale fino a complessi giochi di ruolo ambientati negli spazi urbani. La complessità del sistema necessario a offrire una solida realtà aumentata ha fatto sì che questa sia ancora in leggero ritardo rispetto allo stato dell’arte della VR ma il gap si sta chiudendo e già dal 2017 assisteremo a una evoluzione ancora più interessante e ampia di quanto non offra la VR. Il potenziale della AR è enorme.

La VA è una ibridazione delle due: muove da un ambiente virtuale e vi inserisce elementi reali “astratti” dalla propria concreta solidità. E’ un esempio di Virtualità Aumentata un video a 360 gradi riprodotto all’interno di un sistema di visione per VR e sul quale vengono innestate informazioni di sintesi. Ad esempio, un documentario interattivo che mostri la velocità di un giaguaro che corre verso di noi o un video che ci metta nella cabina di pilotaggio di uno Space Shuttle indicandoci di volta in volta il ruolo e la funzione di ogni azione e strumento. Di fatto, anche se blandamente, è Virtualità Aumentata la quasi totalità dei video a 360 gradi che hanno invaso i video player di tutti i visori di VR usciti sul mercato. Nella maggior parte dei casi inutilmente, mi sento di aggiungere.

Anche partendo da queste descrizioni sommarie, è evidente che la produzione di contenuti per le varie realtà richieda una drammatica espansione delle competenze tecniche e artistiche necessarie per affrontare anche il più semplice dei progetti. Laddove l’industria cinematografica distingue tra i ruoli prevalentemente creativi e artistici (autori, attori e regista) e ruoli prevalentemente tecnici ( il direttore della fotografia e la sua squadra, fonici, elettricisti, carrellisti, specialisti degli effetti speciali) la produzione digitale virtuale, pur rispettando in principio la divisione storica, introduce una pletora di figure professionali che nell’introdurre competenze nuove sintetizzano o fanno da ponte tra le caratteristiche di ruoli prima nettamente separati.

La prima figura professionale atipica è figlia di ciò che ciò che Madre Natura ci dona gratis, la fisica che muove le cose e che pretende se non il realismo almeno la credibilità di un balzo, di un impatto o anche solo della dinamica di una camminata. Nel mondo virtuale la fisica in sé non esiste, è un mondo le cui leggi dipendono da noi e da noi vengono scritte ma che al momento in cui viene realizzato è semplicemente uno spazio infinito ma limitato, vuoto e inerte.

La fisica che si applica all’universo di una produzione per la VR o la AR va creata da zero sia che aspiriamo a riprodurre la realtà del mondo al quale siamo abituati (per esempio il fatto che un oggetto cade da una certa altezza accelerando di circa 9,8m/s2) sia che vogliamo mettere in scena un mondo di fantasia nel quale le cose cadono verso l’alto, attratte da un qualche ente misterioso.

Abbiamo quindi bisogno di figure professionali in grado di definire e modellare la fisica del nostro universo virtuale per permettere agli animatori di concentrarsi sugli aspetti non formali del movimento dei personaggi e degli oggetti principali, confidando nella coerenza di tutto il resto di un universo che richiederebbe troppo tempo gestire manualmente.

La figura del fisico, magari anche con competenze di ottica, è essenziale anche per creare le deformazioni dello spazio che tradizionalmente vengono realizzate con lenti particolari. In un mondo dinamico e digitale, si possono (e spesso si desiderano) modifiche a ciò che vediamo che è più semplice ottenere deformando direttamente gli oggetti secondo determinate leggi di trasformazione geometrica (magari specifiche per ciascuno di essi) anziché tentare di realizzare ottiche virtuali che deformino tutto in modo mediamente soddisfacente.

Anche quella dello scenografo è una figura che necessità di espandere le proprie competenze fino a includere gli effetti e il ruolo della scala di rappresentazione non più su base assoluta ma su base “locale”, potenzialmente differenziata da oggetto a oggetto e da punto di vista a punto di vista. Se la scala era già uno strumento importante per veicolare tutte le percezioni comparative innate delo spettatore (velocità, aspettative sul peso, resistenza al movimento, ecc… come già scrivevo in un mio altro post) nelle produzioni per realtà immersive la scala è essa stessa uno strumento artistico che aiuta a immedesimarsi nel protagonista. Nel cortometraggio Henry lo StoryStudio usato contemporaneamente due diversi fattori di scala: una per il riccio Henry e per la sua torta-fragola e una per tutto il resto. Se il mondo che circonda Henry e lo spettatore è nella scala ottimale per l’osservatore umano, quella di Henry e la sua fragola sono esagerate per dimensionare quello stesso mondo nella prospettiva di un riccio. Lo spettatore è trasportato ambivalentemente ora nell’una e ora nell’altra a seconda di dove guarda, così da renderlo visitatore estasiato di un mondo di fantasia molto diverso dall’esperienza quotidiana e, al tempo stesso, trasformarlo deformandolo per metterlo al livello del protagonista, assumendone la prospettiva quando c’è contatto visivo con lui. La coerenza tra le due scale è mantenuta rigorosamente durante tutto il cortometraggio e lo spettatore ora è un riccio ora un umano in modo fluido, senza effetti speciali o trasformazioni percepibili: è un potenziamento naturale della nostra capacità di comprensione del contesto. Potete verificare direttamente, anche guardando il video in 2D poco più sotto nel post, come questa modificazione della scala sia del tutto impercettibile.

Le competenze per guidare questa intersezione sensoriale scivolano rapidamente nella psicologia della percezione e nel cognitivismo, fattori che si devono innestare sull’intuito artistico per guidare la composizione scenografica e fornire i giusti elementi di valutazioni a chi controlla la camera.

Un altro considerevole cambio di paradigma che comporta una radicale revisione della tecnica narrativa deriva dalla totale libertà non solo di guardarsi attorno e guardare il protagonista ma anche di essere guardati dal protagonista. Se siamo presenti sulla scena, la scena deve mostrare consapevolezza di noi stessi. In Henry è evidente come il nostro amabile riccio cerchi costantemente il contatto visivo con voi dopo aver fatto qualcosa o quando accade un evento, quasi a cercare un’approvazione o un supporto.

Lo sceneggiatore non è più vincolato al mondo appiattito e inquadrato del cinema convenzionale. La scena avvolge lo spettatore e ci si deve aspettare che questi venga distratto o non stia osservando costantemente la performance attoriale e che questa sua libertà di osservazione e movimento in qualche modo alteri anche il comportamento di tutti gli attori virtuali. L’universo sperimentabile deve quindi essere vivo, realistico, pulsante e curatoquanto quello frontale se non addirittura essere parte integrante della narrazione.

Chi scrive sta sperimentando una piccola produzione nella quale il punto di osservazione conduce a una diversa percezione della storia, a un’esperienza filmica completamente diversa da quella percepita da uno spettatore che stia osservando altrove pur partendo dallo stesso incipit e chiudendosi con lo stesso finale. E’ evidente che se stessi vivendo in prima persona la scena madre di un thriller e, girandomi per guardare dietro di me, scorgessi il volto dell’assassino, gli eventi da quel momento in poi avrebbero per me una chiave di lettura completamente diversa da quella di uno spettatore che invece non lo avesse visto perché concentrato sul cadavere che giace a terra. Il mio punto di vista sarebbe per tutto il film quello di chi assisterebbe agli errori di valutazione della polizia o delle persone contigue all’assassino immedesimandosi in queste e vivendo un’esperienza più investigativa; al contrario quelle dell’altro spettatore sarebbe più vicino alla sensazione d’ansia perché chiunque, tra gli attori che lo circondano, potrebbe essere l’assassino e accoltellarlo da un momento all’altro. Stessa trama, stesso film, due narrazioni diverse.

E’ necessaria una nuova generazione di sceneggiatori, in grado di concepire storie che reggano non solo nella piccola finestra dello schermo cinematografico o televisivo, ma nella sostanziale realtà che sta oltre il campo di ripresa.

La tecnica di ripresa, come gli effetti speciali digitali dei film dell’ultimo decennio ci hanno mostrato, è già oggi estremamente libera. Inserire una camera virtuale dentro una pentola piena d’acqua bollente per assistere dall’interno alla rimozione del coperchio è diventato possibile da due decenni. Ma nella realtà virtuale, con le tecnologie di visualizzazione attuali, il punto di vista comporta un limite superiore nell’impossibilità di superare le capacità tecniche dei sistemi di sintesi e proiezione di ciò che vediamo. Per quanto inusuale possa sembrare, un contenuto interattivo virtuale è sempre “girato” in tempo reale. Le azioni possono essere state predeterminate dal regista e fissate per sempre in uno schema ripetitivo, a immortalare un capolavoro cinematografico immutabile, ma ciò non toglie che ogni utente, nel privato del proprio visore, assiste a una nuova messinscena che avviene in tempo reale davanti ai suoi occhi, generata in quell’istante dal proprio PC o smartphone in ragione e limite delle caratteristiche tecniche che possiede. Nel corto The Dark Sorcerer, anche se non realizzato per una fruizione in realtà virtuale, tutta la scena è definita a tavolino ma la sua resa è realizzata in tempo reale su una comune Sony Playstation, con risultati qualitativi eccellenti.

Al massimo delle proprie potenzialità, un sistema di realtà virtuale o aumentata è vincolato a un certo rapporto tra il numero di poligoni che costituiscono la geometria del mondo (inclusa la complessità delle texture grafiche che gli conferiscono credibilità estetica) e il numero di fotogrammi al secondo che è in grado di generare: più alto è il numero di poligoni e dettagliato ciò che vediamo e minore sarà il numero di fotogrammi al secondo che il sistema riesce a visualizzare. Al contrario, minore è il numero di poligoni e texture e maggiore sarà il numero di fotogrammi al secondo al prezzo di una peggiore qualità visiva e dettaglio di ciò che ci viene mostrato.

Il numero di fotogrammi al secondo è fondamentale per rendere istantanea la risposta ai movimenti della testa dell’osservatore e mantenere una coerenza tra quella che il sistema di equilibrio vestibolare dice al cervello essere la nostra posizione e ciò che vediamo, evitando nausee e vertigini durante la nostra permanenza nel mondo virtuale. Meno fotogrammi per secondo significa andare incontro a fastidi fisici tipici del mal d’auto o del mal di mare. Meno dettaglio significa non riuscire a veicolare il senso di immersione. La competenza per mantenere il rapporto ottimale tra i due valori durante l’esperienza è fondamentale per tenere lo spettatore concentrato sulla storia ed è una competenza prevalentemente tecnica che permette di indirizzare un ulteriore complessità della VR: le differenze tecnologiche tra dispositivi di visualizzazione.

Se infatti da due TV possiamo attenderci magari risoluzioni differenti ma nessun impatto sulla godibilità minima del prodotto finale, il gap di capacità di due dispositivi può rendere il contenuto del tutto non fruibile su quelli di caratura non debitamente considerata. La differenza di percezione tra due device di capacità diverse è enormemente superiore a quella che si ha passando da un film visto su un vecchio TV 4:3 analogico e lo stesso film visto in 4K su un televisore in formato cinemascope. E’ diversa perché la TV è comunque uno strumento esterno e lo spettatore rimarca nella differenza tecnologica la propria alterità rispetto a ciò che vede. Nella realtà virtuale lo spettatore è un tutt’uno con l’ambiente che osserva e la qualità di ciò che percepisce asseconda o rompe del tutto questa immedesimazione.

Non c’è grigio in questa scala di compromesso: il contenuto è realistico (nel senso che viene percepito come plausibile e se ne entra in contatto) oppure non è realistico e lo si abbandona, risparmiandoci nausea e fastidio. Quindi per ciascun device esiste un appropriato rapporto tra la complessità e la frequenza di aggiornamento che non può essere determinata solo a partire dal contenuto ma, in linea bidirezionale, deve poter anche incidere sul contenuto stesso per adattarlo laddove non vi siano le condizioni minime per rispettarne la forma e la sostanza previste.

Nel mondo dei videogiochi, che in parte ha le stesse limitazioni, esistono tecniche per ridurre dinamicamente il numero di poligoni in funzione di ciò che viene inquadrato, eliminando dalla pipeline di disegno tutto ciò che è nascosto e riducendo la qualità (numero di poligoni e texture) per gli oggetti lontani; nel mondo della realtà di sintesi (AR/VR/AV), orientato a garantire 90 fotogrammi al secondo, è necessario espandere queste tecniche tenendo in considerazione, in tempo reale, ciò che l’utente sta effettivamente guardando, riducendo o eliminando tutto ciò che pur davanti all’osservatore non è nel “campo di attenzione“.

Ogni oggetto viene avvolto in una specie di scatola invisibile le cui intersezioni geometriche e matematiche con le altre scatole e con il cono di osservazione dell’utente vengono costantemente valutate per determinare cosa nascondere anche se in piena vista e cosa mostrare anche se magari ai margini del campo visivo. Questa complessità matematica e geometrica tracima nella sfera di competenza dell’operatore di ripresa e del regista fino a indirizzarne le scelte. E’ richiesta una capacità di astrazione formale tipica del matematico e molto lontana dall’astrazione immaginativa di un creativo.

Ultimo ma non ultimo, lo scenario di staging e produzione non è il campo aperto, i riflettori, i filtri in lattice, il fonico con il boom. Il nuovo ambiente di produzione è un motore grafico 3D con il suo bagaglio di strumenti alieni al montatore video tradizionale. Engine grafici commerciali quali UnrealEngine (usato per la produzione di Henry) o Unity3D (usato per la quasi totalità delle produzioni indie) costituiscono il nuovo armamentario del produttore; sono per la realizzazione di contenuti immersivi ciò che FinalCut o Adobe Premier e gli strumenti di composizione e color correction sono per il cinema e la TV tradizionali. Ciò apre la caccia ai migliori talenti di una disciplina che finora li ha visti qualificati tra la “manovalanza” del mondo dei videogiochi e che promette di farli salire al rango dei grandi montatori.

Il regista stesso è quindi una figura plurale che somma tante figure di assistenza a supporto l’idea artistica: fisici, ottici, matematici, sviluppatori specializzati e in conseguenza, grafici, animatori, modellatori che non vengono dal mondo degli effetti speciali in post-produzione ma da quello matematicamente e informaticamente più complesso del tempo reale.

In questo scenario così scientifico e tecnologico, il direttore tecnico di produzione non è più una figura di raccordo tra i comparti tecnici ma è il vero perno attorno al quale la visione del regista può prendere forma; è una figura nella quale lo sbilanciamento verso le tecniche del mondo dei videogiochi e della simulazione in tempo reale è preponderante rispetto a quello verso le tecniche tradizionali del cinema. Una figura che oggi manca perché la formazione dei direttori di produzione dell’industria ludica ha mancato l’aspetto artistico e formale quanto la formazione dei direttori tecnici cinematografici ha totalmente ignorato le tendenze tecnologiche al contorno.

Fisici, matematici, psicologi della percezione, sviluppatori di videogiochi e simulazioni affiancheranno il team tradizionale al servizio di storie sempre più emozionanti per portare scienza e tecnologia nel mondo delle arti, in attesa che nasca per loro una nuova nomenclatura e figure professionali definite e replicabili sulla base di una formazione consolidata.

Quale sarà il primo brand dell’audiovisivo a dotarsi di un VR Cinema Team?

L'articolo L’alba del virtual cinema: quali sfide e quali professionalità? proviene da The nice place magazine.

Tra i tanti micro-esperimenti che vivacizzarono quel meraviglioso intervento, uno in particolare mi rimase impresso e mi fece riflettere per molte settimane, facendo poi scaturire una una serie di pubblicazioni e di conseguenze dirette sui prodotti digitali di cui mi occupavo per FOX International Channels. Dopo aver calcolato rapidamente l’età media dei presenti e un’altra serie di parametri socio-demografici grezzi raccolti per alzata di mano, Wright anticipò il risultato di un successivo sondaggio che avrebbe condotto sul rating di carineria di una particolare foto del suo gatto Argon: 65/100. Tutte le altre ebbero in effetti un rating più basso e quella di Argon si attestò esattamente su quell’indice di gradimento.

Perchè quella foto piaceva di più? Come aveva potuto prevedere in modo tanto preciso il risultato senza ricorrere a trucchi da mentalista? Quali relazioni sussistevano tra il dato demografico, un breve sondaggio sulla risposta ad alcuni stimoli visuali (alcune immagini) e quella determinazione così precisa dell’indice di gradimento? Ciò che emergeva, non ignoto ai registi televisivi e cinematografici nonché ai grandi fotografi, è che la composizione e l’inquadratura determinano la grande parte della qualità della percezione del contenuto e del suo significato. Più questi fattori si conformano a pattern stilistici riconoscibili, più rapidamente e facilmente vengono assimilati cognitivamente: la nostra mente opera per comparazione di strutture visuali semplificate della realtà.

In quella foto Argon posava con le zampe vicine al punto di vista della fotocamera mentre la testa era più distante, apparendo più piccola. La testa, così apparentemente rimpicciolita, portava a valutare un bel gattone di cinque kg come più piccolo di quanto non fosse in realtà e a farlo sembrare più “carino”. Se ci pensate, la dimensione fisica di un oggetto ha una relazione diretta con il significato del suo diminutivo linguistico e solo il contesto determina se il diminutivo è in funzione vezzeggiativa o dispregiativa. Un gatto bellamente sdraiato a mo’ di Paolina Bonaparte evidentemente è carino.

Ciò che il piccolo esperimento ci dice dietro le righe è che la capacità del nostro sistema di percezione visiva eccede enormemente quella del sistema di elaborazione cognitiva; di conseguenza la nostra mente è costantemente in funzione nel tentativo analizzare ogni scenario mentale al fine di valutare le possibili risposte a una determinata situazione prima che agiamo consapevolmente di conseguenza. Per poter operare a una velocità sufficientemente alta da non farci sbattere contro il muro prima di aver realizzato che il muro è lì, la mente semplifica e modellizza la realtà riducendola a una “silhouette di senso” della sua complessità. In ogni dato istante, l’immagine che vediamo è rapportata e comparata con le silhouette disponibili “in archivio” e in caso di corrispondenza, applica una risposta adeguata tra quelle precostituite (dalla genetica o dall’esperienza).

Gli scenari mentali canonici, anche geneticamente ereditati, prevalgono su quelli nuovi e su quelli che non possono essere correttamente inquadrati: prima confrontiamo la realtà con i modelli più comuni, poi con quelli meno comuni e anche tra i primi, gli scenari di preservazione della propria incolumità prevalgono su quelli di scoperta e innovazione. E’ per questo che se ci trovassimo di fronte a una tigre appena svoltato l’angolo avremmo una scarica di adrenalina, i nostri muscoli orripilatori si contrarrebbero e faremmo un balzo all’indietro prima ancora di realizzare consciamente che in realtà siamo davanti a un animale impagliato.

Tuttavia se invece di una tigre impagliata ci trovassimo di fronte a un dipinto raffigurante una tigre, avremmo lo stesso tipo di risposta? Ovviamente no, quindi deve esserci una relazione tra la quantità di informazione in ingresso attraverso il sistema visivo e il nostro processo di riconoscimento “inconscio” nel sistema di elaborazione cognitiva. Se la quantità di informazione è insufficiente ad attivare la soglia di matching con il modello mentale, la reazione viscerale e atavica è in qualche modo inibita: la nostra partecipazione al mondo che ci si dipana davanti è più lenta perché deve fare raffronti con tutto il dataset dei nostri modelli mentali e in questo lasso di tempo ha modo di entrare in gioco la percezione cosciente e analitica. La quale non comporta una risposta fredda e asettica a ciò che vediamo quanto una diversa natura delle emozioni che proviamo, spesso simili ma di portata e forza differenti. Nella rappresentazione della realtà intermediata dalla carta o dallo schermo televisivo c’è bisogno di una “violenza” della rappresentazione superiore a quella della realtà per generare una risposta emotiva comparabile. Anche per questo il linguaggio dei media si è imbarbarito ai livelli che purtroppo conosciamo.

Apparentemente, quindi, c’è una soglia minima di informazione che attiva un determinato scenario mentale facendone scaturire le risposte adeguate in modo pre-cosciente. Un incremento di informazione porta a valutare lo scenario in modo diverso, quasi ve ne fossero più versioni a risoluzioni differenti, quindi a comportarci in modo istintivo o analitico. Questo non significa però che incrementando la quantità di informazione ad libitum migliori questa capacità di mapping della realtà alle risposte più pertinenti. Innanzitutto, un incremento di informazione potrebbe far scivolare la realtà oggettiva verso un modello mentale differente (uno sfondo nero con qualche puntino che si muove richiama un cielo stellato ma se il numero di puntini è troppo elevato ecco che ci appare come la nebbia televisiva, con l’aggravante che il punto di soglia è soggettivo e varia da persona a persona rendendo imprevedibile il risultato finale se non su larga scala); in secondo luogo una quantità eccessivamente elevata di informazioni potrebbe superare la nostra capacità di analisi e rimanere del tutto ignorata, sprecando banda e tempo (un campo di grano visto attraverso un vetro smerigliato aumenta la varietà della rappresentazione ma ne condiziona la riconoscibilità). In terzo luogo, la manifestazione di una realtà sorprendente e fuori dal comune, non consente una agile mappatura mentale su schemi precostituiti e potrebbe non aver bisogno di una quantità di informazioni molto elevata per poter essere credibile o, al contrario, una quantità di informazioni elevata non è una condizione sufficiente per farla apparire credibile (per esempio, l’immagine di copertina di questo post è la fotografia di un paesaggio realmente esistente, per quanto a livello inconscio la maggior parte dei lettori giunti fino a questo punto della lettura sarà portata a considerarla, a un primo sguardo distratto, un’immagine di tipo fantasy).

Come ho avuto modo di sperimentare in laboratorio alla fine degli anni ’90 e nei primi anni 2000, e adesso verifico quotidianamente su grande scala grazie alle piattaforme di VR disponibili sul mercato, lo scenario descritto sopra non è del tutto corretto e certamente non direttamente applicabile ai modelli di intrattenimento e immersione virtuali senza opportuni correttivi di natura psico-cognitiva. C’è una qualità dell’informazione proveniente dall’ambiente che ci circonda, apparentemente sotto forma di rumore di fondo e difficilmente misurabile e individuabile, che però determina a livello subconscio il contesto e quindi le soglie interpretative della porzione di realtà sulla quale siamo concentrati. Giocare con la percezione in un ambiente virtuale e sintetico non può fare affidamento su questo rumore informativo, che non fa parte della modellizzazione dell’ambiente VR, e quindi deve fare leva su meccanismi di veridicità della realtà presentata che vanno oltre la velocità e larghezza di banda (la quantità di informazione) e che sono più definiti e orientati dal modo in cui assegnamo il significato alle immagini e ai loro elementi costitutivi; se poniamo in una stessa immagine un gatto, una ragazza e un albero molto probabilmente si costituirà in molti di noi un nesso di senso che ci porta a pensare istantaneamente a “Alice nel paese delle meraviglie”, indipendentemente dal realismo o meno dell’immagine in sè e ci si creerà un’aspettativa che il gatto si metta a parlare.

La ricerca estrema del foto-realismo cui stiamo assistendo in questi primi mesi di vita nel mass market degli strumenti di realtà virtuale e di realtà aumentata, va a discapito del corretto inquadramento dei modelli mentali applicabili ai contesti di immersione e di augmentation e così facendo non coglie il potenziale narrativo e soprattutto il potenziale di incremento della capacità di apprendimento e integrazione delle informazioni da parte dei nostri utenti.

Ciò che sta mancando è una solida analisi delle regole di composizione delle scene virtuali. Tralasciando i videogiochi, che stanno trattando la VR meramente come un display di natura diversa e non vanno molto oltre la ricerca della “sensation“, si sta perdendo l’opportunità di non limitarsi ad avere la “sensazione di essere presenti” ma a ricercare “l’essere presenti”. E non mi riferisco al dotare di risposte interattive l’ambiente circostante, che in un documentario o un film potrebbe non essere una caratteristica necessaria e certamente ha bisogno anche di un linguaggio della narrazione che è ancora assente, ma al fatto che l’ambiente “senta” la nostra presenza e si conformi in modo adeguato senza violare la propria linea narrativa.
Il classico punto di vista della telecamera posta sulla linea di mezzeria di un’autostrada trafficata, con le auto che passano anche “sopra” il punto di ripresa, non può essere ammissibile e non deve essere possibile: un’automobile che ci attraversa è un elemento di rottura della sospensione dell’incredulità (a meno che nella storia non impersoniamo un fantasma  e quindi supporteremo questa peculiare esperienza al di fuori del nostro “archivio esperienziale” con adeguati effetti di contorno). Se ci troviamo su un marciapiedi mentre assistiamo alla conversazione di due protagonisti che avanzano verso di noi, in qualche modo la visual storyline deve rispondere allo scenario e reagire al fatto che noi ci pariamo davanti al loro cammino: i due protagonisti devono aggirarci in uno dei tanti modi possibili.

In un’opera audiovisiva tradizionale, la scelta del punti di vista (la prosizione e il tipo di inquadratura della camera di ripresa) è lo strumento con il quale il registra veicola il tipo di emozione e partecipazione che il regista vuole conferire allo spettatore. Un’inquadratura in quarto dal basso con luce radente è costruita per dare una sensazione di maggiore grandezza del soggetto inquadrato e di contestuale sudditanza psicologica e inquietudine nell’osservante; ed è molto efficace nel riuscirci. In un contesto virtuale immersivo quell’inquadratura corrisponde però al nostro punto di vista “reale” e quindi presuppone che siamo fisicamente inginocchiati o rannicchiati, con il collo piegato e sotto sforzo a osservare dal basso: quella “sensation” solo proiettata dal film deve corrispondere a una sensazione fisica e reale che non può essere all’esterno di noi stessi. Se la promessa dell’inquadratura non coincide con la postura reale, si verifica una grande dissociazione di senso che sbriciola l’intenzione del regista indipendentemente dalla quantità di informazione e dal fotorealismo della scena. Qualora la scena fosse reale e davvero fossimo ai piedi di un malvagio omaccione saremmo inquietati per la figura in sè e per ciò che dice, fa e rappresenta. Ma se siamo “virtualmente” sulla scena i meccanismi bidimensionali di creazione della reazione emotiva del mondo del cinema e della TV non sono adeguati: la storia e la sua meccanica narrativa devono necessariamente essere in grado di offrirci una partecipazione psicologica agli eventi in modo diretto e non intermediato.

Se avete a disposizione un Gear VR o un Oculus Rift, potete cercare un cortometraggio intitolato “Catatonic“. Oggettivamente non si tratta di un gran pezzo di cinema; per di più la qualità in termini di risoluzione è molto bassa e se avete modo di vederlo nella sua versione bidimensionale (qui: https://www.youtube.com/watch?v=hTxJArHZeV0 ) non vi trasmetterà nulla di particolare se non forse un vago senso di follia, più un disprezzo che un disagio. Ma se avrete modo di vederlo in immersione, questo breve filmato assumerà una connotazione, una potenza e un’efficacia narrativa unica e inquietante. Vi sentirete davvero impotenti, catatonici e bloccati, circondati da una realtà alterata che peggiora a mano a mano che il video procede fino ad arrivare a percepire come il vostro io virtuale stia sprofondando nella follia più cupa che inizierete a sentire come la vostra stessa follia. Una risoluzione (banda) più elevata probabilmente vi avrebbe dato troppi elementi realistici sui quali ancorare la vostra sanità mentale e il punto di presa sulla stanza (vera) in cui vi trovate, distruggendo l’immedesimazione cui invece siete stati sottoposti.

Ancora, nel mondo virtuale si amplificano le ripercussioni dei principi dell’animazione classica introdotti da Ollie Johnston e Frank Thomas negli anni ’20 del secolo scorso. Una rappresentazione a bassa fedeltà di una strada cittadina, con gli edifici costituiti da cubi monocolore che ci sfrecciano accanto molto velocemente può essere efficiente e partecipativa di una ricostruzione foto-realistica con un numero di fotogrammi per secondo basso e gli edifici che scorrono più lentamente o con minore fluidità; se raddoppiassimo la dimensione dei cubi nella versione a bassa fedeltà, avremo la sensazione di un movimento più lento del veicolo (lasciando inalterata la geometrica) o di edifici più grandi a parità di velocità (distorcendo lievemente gli edifici) a seconda che vogliamo dare alla frequenza di aggiornamento la priorità o meno sulla velocità di movimento. In un contesto foto-realistico ad altissima risoluzione, invece, la dimensione dell’edificio passa cognitivamente in secondo piano, soverchiata da una quantità di dettagli troppo alta per poter essere analiticamente percepita e avremo una maggiorata sensazione di lentezza del movimento rispetto alla scala della scena riprodotta: faremmo fatica a concentrarci su qualcosa e se riuscissimo a farlo, tutto quel dettaglio sarebbe inutile.

Purtroppo l’industria, anche se appena nata, già spinge per diverse ragioni nella direzione di una massiccia acquisizione di risorse tecniche: avrete bisogno di PC molto potenti, schede grafiche ai limiti della capacità odierna nel mondo consumer, di modelli grafici estremamente dettagliati e schermi con risoluzioni elevatissime che richiedono ulteriore potenza di calcolo. Le ragioni sono varie: una effettiva necessità di potenza per generare immagini stabili che non portino all’insorgenza di nausea, una certa ritrosia del mercato ad aggiornare il parco macchine di ultima generazione che pure sono vitali e necessarie per chi produce i sistemi operativi odierni, il mercato stagnante dei PC che ha già visto vittime illustri annientate da vendite troppo basse; tutte argomentazioni valide per l’industria tecnologica ma non strettamente necessarie per la qualità della componente di intrattenimento. Soprattutto di nessuna rilevanza ai fini della costituzione di un compendio analitico delle regole del gioco.

Anziché porci unicamente il problema della quantità di informazione visuale da sostenere (e quindi creare e alimentare), che è appunto un problema tecnologico, dovremmo porci il problema di incrementare la quantità di informazioni di senso presenti sulla scena. Che ruolo vogliamo dare ai contenuti e alle informazioni? Quale ruolo per i contenuti creati dagli utenti? Qual è il modo più efficiente di presentare queste informazioni in modo contestuale senza superare le soglie di attivazione di scenari mentali non congrui? Quali sono gli scenari mentali rilevanti per l’industria dell’intrattenimento nel nuovo palcoscenico della realtà virtuale e della realtà aumentata? Quanta capacità cognitiva dell’utente è assorbita nella semplice acquisizione di queste informazioni e quali comportamenti vengono alterati rispetto a quelli degli altri soggetti che non le hanno a disposizione? Come confliggono i comportamenti reali tra le due classi di utenti e come minimizziamo quelli che vanno in clash per non creare un gap cognitivo o, peggio, un rischio reale per le persone?

Sono i temi che realmente dovrebbero essere nell’agenda di chi, come noi, produce contenuto e definisce le modalità di interazione del prossimo decennio. Come il successo di PokemonGo sta a a dimostrare, c’è un enorme potenziale nell’integrazione di narrative immersive all’interno degli spazi fisici ma come gli incidenti e lo sfruttamento per finalità criminali di questo gioco ugualmente dimostrano, c’è una necessità e una responsabilità oggettiva a non limitarsi a considerare cavalcare la VR e la AR come un “nuovo schermo” la cui partita si gioca unicamente sul differenziale creativo ma a definire le nuove regole del gioco e a incanalare la creatività all’interno della nuova sintassi audiovisiva.

* L’immagine di copertina è di Diego Delso – Tramonto visto da dietro le cascate Seljalandsfoss, a Suðurland, Islanda. Le cascate del fiume Seljalandsá precipitano per 60 metri sulla scogliera.

L'articolo Realtà Virtuale e Percezione: sospesi tra mondi impossibili e nuovi modelli cognitivi. proviene da The nice place magazine.

However, among them all the one I most vividly retain in my memory is the opening keynote of the SIGGRAPH 2009, when an inspired Will Wright – the designer of The Sims game – delighted the audience with the concept of “playing with perception”. He did it in his unique style and through a very long presentation that unfolded much more like a clever series of puzzles for those present rather than a tedious series of slides.

Among the many micro-experiments that jazzed up that wonderful speech, one in particular impressed me and made me think for several weeks about the inner rules of perception, eventually leading me to publish a few articles and having a sort of direct impact on the digital products I was in charge of at FOX International Channels. After calculating the average age of the audience and collecting a small set of socio-demographic data by show of hands, Wright was able to anticipate the results of a subsequent survey about the “cuteness rating” of a particular photo of his cat Argon : 65/100. Any other photo he showed got a lower score while that one received exactly a rating of 65/100.

Why was that picture liked the most? How could he predict the results so precisely without resorting to mentalism tricks? What relationships did exist between demographic data, a short survey on the response to certain visual stimuli (some pictures), and the ability to forecast such a precise index score? What emerged, unbeknown to television and film directors as well as to great photographers, is that composition and framing have a large impact in determining the quality of perception of any content and its significance. The more these factors conform to recognizable stylistic patterns the more quickly and easily they are assimilated at the cognitive level: our mind works by visual comparison of simplified structures of Reality.

In that picture, Argon was resting with his legs closer than his head to the camera’s point of view , thus the head itself appearing smaller. The head, apparently shrunken in size by means of perspective, led to evaluate a chubby cat weighing 5kgs as smaller than it actually was, and thus make it look more “cute.” Indeed, if you think about it, the physical size of an object has a direct relationship with the meaning of its linguistic diminutive and only the context determines whether the diminutive is running as a nickname or as derogatory. A cat lying handsomely like a feline version of Pauline Bonaparte is obviously cute.

The lesson learned from the inner of this little experiment by Wright is that the intake capacity of our visual perception system greatly exceeds that of the cognitive processing system; as a consequence our mind is constantly running in an attempt to analyze any mental scenario in order to assess any possible responses to a given situation, well before we act consciously. In order to operate at an adequate speed (so that we do not hit the wall before realizing that the wall is there) the mind simplifies the reality by modelling it into a simpler form, a sort of “meaning silhouette” of its original complexity. At any given moment, the image we see is being related and compared with the available silhouette “on file” and, should a correspondence be found, an appropriate response among those pre-built (by genetics or experience) will be triggered.

Canonical mental scenarios, even those “genetically” inherited, prevail over the new ones and over those that cannot be properly framed: first we compare the reality with the most common models, then with less common ones; among the formers, scenarios that relate to the preservation of our own safety and security have precedence over those of discovery and innovation. Thanks to this prioritization mechanism, should we find ourselves in front of a tiger waiting for us just around the corner, we would have an adrenaline rush, our arrector pili muscles would have contracted causing goose bumps and we would almost instantly jump back, well before our consciousness would realize that we are face to face with a… stuffed feline!

However, if we happened to find ourselves in front of a painting of a tiger, would we had the same kind of response? Obviously not! So there must be a relationship between the amount of input information we get via the visual system and our “primitive” recognition mechanism operating at the cognitive processing level. If the amount of information is insufficient to trigger the matching threshold of the mental model, the visceral and atavistic reaction is inhibited in some way: our emotional participation to the world that unfolds before our eyes is slower because we have to make multiple comparisons with the whole dataset of our mental models and by the time the task is completed the conscious and analytical perception takes over. This doesn’t mean that the course of emotive response and operational actions we’ll take will be ice cold and aseptic rather that a different kind of emotional involvement is triggered both in scope and strength. One can see a reflection of this in the way newspapers and TV shows represent the reality: in order to shake our consciousness at comparable levels to direct, deep live experiences they need to push much more “potent” and “violent” and “crude” stimuli. To some degree, this is also an explanation about why the language of mass media has become so barbaric.

Apparently, there is a minimum information threshold that triggers a certain mental scenario thus causing the proper responses at a pre-conscious stage. Having more information than the minimum required, would lead to evaluating the scenario in a different way as if we have multiple versions of a scenario layered by “data resolution” and the amount of information determine whether we trigger an instinctive or analytical model. Nonetheless this doesn’t imply that by increasing the amount of information ad libitum we enhance our capability to map the reality onto the relevant responses. First of all, even a small increase in data inputs might make the substantial reality shift towards a different mental model. For example, a black background with a few hundred sparkling dots may be interpreted as a starry night but if the number of dots is more in the thousands (only an order of magnitude greater) the mental model being triggered could be that of old days television fog; with the aggravating circumstance that the threshold is very subjective and we could have similar but unpredictably different responses from person to person by adding  tens of dots at the time); secondly, an excessive amount of information could overcome our analytical capacity and be entirely ignored (thats known as “cognitive saturation”), wasting bandwidth and time (a cornfield seen through a frosted glass increases the variance and amount of information available but reduces its recognizability). Thirdly, the representation of an uncommon reality (i.e. a non-ordinary landscape), doesn’t allow for an agile mind mapping of what we see with pre-existing mental models and thus may not need a very large amount of information to be credible or, conversely, a higher amount of information it is not a sufficient condition to make it appear credible. As an example, slide upwards to the very beginning of this article and take a look at the cover image: that is a REAL photo of a REAL place. Many of you read the title implying “virtual reality” and “impossible worlds”, had a quick look at the image and unconsciously decided it was a computer generated or artist generated one. Now, you’re looking at it and need much more time to convince yourself it is a real photo of a real place, no matter how detailed it is there is something that “doesn’t map the right way”.

As I had a chance to experiment by myself in the last two decades, and now can verify every day with real users – thanks to the availability of mass market VR and AR devices – the context I described so far is not quite correct when it comes to applying it to audiovisual entertainment, at least not without diving into appropriate “customizations” of psycho-cognitive nature. There is a “quality” of information coming from the environment around us which reveals itself as a sort of background noise, hardly measurable and identifiable; nonetheless it is this quality which determines the context of the mental framing at the subconscious level, thus is the master trigger in selecting which thresholds shall we apply to interpret the portion of reality we’re currently focused on. Playing with the perception in a virtual and synthetic environment cannot rely on this information noise as we aren’t able to re-create it and feed it to the user; as a consequence we have to leverage “mechanisms of truthfulness” of the reality we’re presenting that are well beyond the mere topics of speed and bandwidth (the amount of information and how fast it changes); those mechanisms, on the contrary, are rather defined and driven by the way we assign a meaning to the audiovisual stimuli and their constituent components; if we put together a cat, a girl and a tree most likely a large portion of the intended audience will be activated at a very low level into building a new scenario out of many inner mental scenarios and led into almost instantaneously recognizing the scene as a representation of “Alice in Wonderland”, regardless of whether or not the image is photorealistic or identical to a frame took from the movie or an illustration of the original book. More than that, we would have an expectation about the cat talking like a human and moving like a biped.

The quest for extreme photo-realism, a phenomenon we are experiencing already in these first months of life of mass market virtual reality, is to the detriment of a proper classification of types of mental models applicable to immersive audiovisual contexts and augmentation of reality; this course of action leds to a huge miss of the narrative and educational that an increased information selection, integration and comprehension capability would bring to both users and business.

What we are currently lacking is a solid analysis of the cognitive composition of the virtual scene and a derivation of “rules”. Aside from videogames, which are treating the VR merely as a different type of display and do not go much beyond the search for “sensation”, we’re missing the opportunity to go beyond “feeling the presence” and seeking a “being present” setting. I am not talking about the goal to make the audiovisual content interactive as a mean to enhance the suspension of disbelief in favor of a functional approach (a feature that would be nice to have but is not essential to a movie or a documentary, at least not without a clear and mature narrative language structure which fits the way the audience gets the content and its meaning). On the contrary, I am referring to the fact that the environment we create in virtual space must “feel” our presence in the scene and adapt itself to conform to this without violating its narrative strategy.
The canonical shooting having the camera placed at the center line of a busy highway while cars pass “above” the camera itself, shouldn’t be possible and shouldn’t be allowed; since in VR the camera is literally the audience, having a car on top of us or passing through us would be a complete disruption of disbelief (unless in the history we are impersonating a ghost and support  this “deus ex machina” technique by applying special effects when we’re traversed by a truck). In the very same manner, if we stand in the middle of a sidewalk looking at two characters walking towards us while talking one each other, somehow the visual storyline must conform to the scenario and react to the fact that we are right there just in front of them: as we are there and not just in front of a screen, we do expect that the characters will move around us according to the multiple strategies they have at hand to avoid obstacles in a real situation.

In traditional audiovisual works, choosing the point of view (the position, orientation, optics and kind of shooting) is the tool directors use to convey a precise feeling and induce an emotional reaction in the viewer. Shooting from a lower angle from below the subject and an oblique light generates a sense of physical dominance of the character over the viewer and a related psychological subjection by making the character look more evil and threatening; it is a very effective way of delivering that feeling. In immersive virtual environments though that very same camera rig corresponds to our actual point of view, a point of view as “real” as we feel it; therefore the shot requires that we are physically kneeling or crouching, with our neck bent and strained to look at the evil character from below: the “sensation” which would be sufficient in a movie at the cinema, in this case must match a physical and real feeling that cannot be outside of ourselves simply projected on a TV screen or a cinema screen.  If the frame does not coincide with the actual posture of the viewer, there is a great sense of dissociation that crumbles the director’s intention regardless of the amount of information and the photo-realism of the scene. If the scene was real and we were really at the foot of an evil big man then we would have felt menaced by the intrinsic qualities of the character itself, for what he says and how he says it, for what he does and the way he stands above us. If we are “virtually” on the scene the canonical bi-dimensional mechanisms of delivery of the emotional triggers which are the tools of cinema and television do not fit at all: the story and its narrative mechanics must necessarily be able to offer us a psychological participation to the events which is direct and not intermingled.

To stress the point, I invite you to a sofa-experiment. If you have a Gear VR or an Oculus Rift, you can look for a short movie named “Catatonic”. Frankly speaking, this is not a great piece of cinema; the technical quality of the imagery – in terms of pixel resolution – is very low and if you watch it in 2D (here: https://www.youtube.com/watch?v=hTxJArHZeV0) you won’t get any particular excitement except perhaps a vague sense of madness, more a contempt than a discomfort. But if you’ll watch it in a VR setting, this short film will gain a connotation, power and narrative effectiveness very unique and disturbing. You will really feel helpless, catatonic and locked in your own body, surrounded by an altered reality that gets worse as the video frames unfolds until a no return point where you get to feel the pain and madness of your virtual twin as you sink into the darkest places of human mind: his folly will be your folly, throwing you in the large valley of discomfort. Even physical discomfort. An higher resolution would probably provide too many realistic elements that would help you at keeping hold with reality outside of the visor, the comfortable consciousness that you’re maybe on your sofa in your house, this way destroying the profound identification you might have with the catatonic patient.

Any rules we know about visual storytelling must be amended and adapted and for sure new ones will arise, specifically just for this new industry of entertainment. Even the old and archetypical animation principles by Disney’s Ollie Johnston and Frank Thomas dating back the 20s of last century will have to reshape themselves. A low-fidelity representation of a city street, with the buildings consisting of one-color / no texture cubes whizzing beside us very quickly can be as or more efficient and immersion-effective than a photo-realistic reconstruction with a number lower of frames per second and the buildings that run more slowly or with less fluidity; double the size of the cubes in the low-fidelity version, and you will be able to convey the feeling of a slower movement of the vehicle (just by leaving the speed untouched) or make the building seem larger than they are but maintaining the feel of speed (just by slightly bending the buildings backward), depending on whether we want to give priority to the frequency of updates or to the speed of movement. Immersion and suspension of disbelief are unaffected despite the scene being just made of mere cubes. On the contrary, in a photo-realistic environment at a very high resolution the size of the building moves “cognitively” into the background, overwhelmed by a too high amount of details to be perceived analytically and we will have an increased feeling of moving slowly compared to the scale of the scene reproduced: we would find it hard to concentrate on something specific and if we could do it, all that detail would be useless and a waste of bandwidth (and time). To deliver a feeling of speed we would have to sacrifice part of that photorealism by introducing texture-level motion blur, thus reducing the amount of information in favor of a different quality of the same.

Unfortunately this newborn industry is pushing its major strengths in the direction of a quest for technical resources: you will need very powerful PCs, graphics cards at the bleeding edge of consumer electronics, extremely detailed 3D models and digital displays with impressively high resolutions all of them conjuring up to require additional computing power to feed a loop that generates itself. There are multiple, independent reasons to that: the need for actual computing power to sustain the generation of high resolution images at an adequate speed to not induce motion sickness, an enduring reluctance of the market to adopt newer machines thus impacting the market share of new operating system versus legacy ones, a stagnant PC market requiring new opportunities before most of the companies will leave the competition. All of them are valid arguments for this tech race but are not strictly necessary for the quality of VR and AR in the entertainment industry. In particular, have no relevance at all in establishing an analytical debate and research over of the rules of the game.

Rather than concentrating on the problem of the sustainable amount of visual information to support in credible VR and AR scenarios, which is merely a technological problem, we should first address the problem of increasing the quality and quantity of valuable and relevant information on the scene (and consequently how to create and deliver them efficiently to viewers). What role do we need to assign to mental models of content and information? What role for user-created content originating from a different psychological framing? What is the most efficient way to present these information in a contextual way protecting the narrative goals, that’s saying without exceeding the activation thresholds of incongruous mental scenarios? What are the relevant mental scenarios for the entertainment industry to bring entertaining content on the brand new stage of virtual reality and augmented reality? How much user cognitive capacity is absorbed in the mere acquisition of this information and what behaviors are being altered compared to those of other subjects that do not have these information at their disposal? How would conflict the behaviors of these two classes of users and how do we minimize those cognitive conflicts that clash in order to avoid creating new knowledge gaps or, even worse, endanger people?

These are the issues that really deserve to be on the agenda of those professionals like us who produce content and define the interaction and storytelling models for the next decade. As the striking success of Pokémon Go spreading across the world shows us, there is a huge potential for integrating immersive narrative within the physical spaces; at the same time, as accidents and exploitation for criminal purposes of this very same game demonstrate, there is a necessity and responsibility on our side not to limit ourselves to riding the VR and AR opportunities as a mere “new screen” and business whose rules consist in being more creative than our competition, rather we have a responsibility to define the new rules of the game to leverage this creativity within a new holistic audiovisual grammar.

* Cover image by Diego Delso – Sunset from behind Seljalandsfoss falls, Suðurland, Iceland. Seljalandsá’s river falls 60 meters on the former cliffs.

L'articolo Virtual Reality and Perception: suspended in between impossible worlds and new cognitive models. proviene da The nice place magazine.