Attività 5.6 Sistemi innovativi immersivi per la fruizione dei Beni Culturali in regime real time

INFOBYTE@ sta studiando un sistema di Realtà Aumentata in grado di interagire con l’utente tramite una lastra di vetro o plexiglass posizionata davanti all'opera d'arte. In pratica, l’utente si posizionerebbe davanti al pannello trasparente e tramite il tocco sulla superficie in oggetto potrebbe attivare tutta una serie di eventi multimediali proiettati sul pannello e, dunque, sul bene. Questa tecnica offre sicuramente una fruizione molto coinvolgente dei contenuti multimediali, con un forte impatto spettacolare degli stessi.

Tuttavia, si stanno considerando anche alcuni limiti: il riconoscimento tramite Kinect di azioni quali Tap, MultiTouch o Pinch to Zoom può essere problematico. Si deve valutare il posizionamento più idoneo del sensore, in quanto essendo a lettura ottica, potrebbe essere disturbato dal materiale multimediale proiettato sulla superficie trasparente. Deve essere presente un altro sensore (videocamera o leap) in grado di rilevare la posizione del viso e degli occhi dell'utente per controllare il giusto posizionamento dei contenuti aggiunti. Esiste una oggettiva difficoltà nel gestire sia a livello di costi, che a livello di peso e posizionamento, grosse superfici trasparenti.

Un altro sistema in avanzata fase di studio è quella del ‘Cicerone Virtuale’: applicazione studiata per l’uso collettivo di persone che seguono un evento e che possano usufruire singolarmente di un dispositivo con il quale poter interagire, tipicamente ponendo domande su uno specifico argomento di interesse. Tale dispositivo (Client) può essere un micro computer o un Tablet montato in prossimità del sedile occupato dall’utente, oppure un dispositivo personale mobile, quale smartphone o Tablet. Le domande poste al "cicerone virtuale" sono evase tramite un’applicazione che ‘risponde’ in base a precise informazioni (domande estratte da una lista) oppure tramite meccanismi di Intelligenza Artificiale.

Entrambi i progetti in fase di studio sopra esposti possano essere usufruiti anche tramite la tecnica 3D, dotando i fruitori di opportuni occhiali, siano essi passivi o attivi.

Inoltre, nell’ambito di questa attività, UNICAL ha effettuato uno studio dei sistemi di motion tracking da impiegare nel controllo dei movimenti degli avatar presenti negli ambienti virtuali.L'avatar può rappresentare sia il fruitore sia la guida virtuale che fornisce spiegazioni. Sono dunque stati che individuano due diversi contesti in cui adottare una differente configurazione del sistema di motion tracking. A valle dello studio dei sistemi di motion capture è stato avviato uno studio di fattibilità volto a verificare la possibilità di impiego un dispositivo low-cost come il Microsoft Kinect. A tal fine sono stati testati i diversi driver disponibili che offrono la possibilità di riconoscere i movimenti dell’utente e di mapparli sul modello cinematico di un manichino virtuale.

CETMA sta lavonando a un sistema di visualizzazione avanzato 3D in stereoscopia passiva che consente la navigazione e l’interazione a carattere fortemente immersivo in ambienti virtuali, popolati da oggetti virtuali. Il carattere immersivo della navigazione è fornito oltre che
dalla visualizzazione tridimensionale anche dall’architettura del sistema di visualizzazione stesso, costituito dall’unione di tre schermi retroproiettati che possono essere allestiti sia in configurazione panoramica, sia in configurazione cave. L’esperienza di navigazione è arricchita dalle modalità di
interazione che consentono la manipolazione degli oggetti presenti nella scena.

Per ottenere la visualizzazione della Basilica di S.Nicola a Tolve (PZ)  si è proceduto nel seguente modo:

• si è sfruttato il modello realizzato per la fruizione off-line come base per ottenere le opportune immagini degli elementi architettonici in questione
• si sono realizzati i rendering ad alta qualità di immagine e questi sono stati successivamente processati e compositati con l’ausilio del software Adobe Photoshop che ha consentito di gestirne la fase di color correction e le dimensioni.

• Al fine di garantire la migliore resa dei dettagli tridimensionali superficiali come bassorilievi e altorilievi, si è proceduto con l’applicazione del nVIDIA Normal Map Filter su tutte le textures, anche su quelle derivanti dalla campagna fotografica effettuata in situ.
• Tali texture saranno inserite successivamente grazie all’utilizzo di un altro software di modellazione e visualizzazione 3D, Multigen Creator, previa triangolarizzazione del modello ed esportazione dello stesso in formato FLT.
• Infine, il file di output Flt verrà processato mediante l’utilizzo del software di simulazione real time Multigen Stage.

L’attività di infobyte@ ha poi riguardato lo studio di un sistema applicato ai Beni Culturali, in grado di utilizzare meccanismi di realtà aumentata con il quale l’utente, attraverso un dispositivo mobile (Client) potrà interagire e porre delle domande su un particolare argomento di interesse. Le domande potranno essere poste attraverso una lista precompilata oppure direttamente dall’utente, sia attraverso una scrittura testuale, oppure mediante un microfono. Le domande, processate con meccanismi di voice recognition, andranno a formare una lista su un computer server ed evase successivamente mediante regole di sistema. Un Avatar animato con modello 3D, o altri meccanismi tradizionali di animazione, risponderà alle domande con un sistema di sintesi vocale, inoltre lo stesso Avatar potrà essere visualizzato sia su uno schermo presente nella sala, sia direttamente sul dispositivo mobile personale.