Lo scopo del progetto di ricerca è lo sviluppo di metodologie e tecnologie informatiche atte ad una interazione efficiente ed intelligente tra calcolatore e operatore umano. In particolare, si vogliono esplorare le potenzialità nel campo di ricerca relativo alla Human-Computer Interaction (HCI) mediante l'uso multisensoriale integrato audio-visuale. Il Dipartimento di Informatica, e in particolare, i gruppi di ricerca nell'ambito del laboratorio di visione, elaborazione di immagini e suono (VIPS, Vision, Image processing, and Sound) possiede le necessarie competenze di visione artificiale, elaborazione e sintesi del suono, per affrontare queste tematiche.
Le applicazioni per questo tipo di ricerca ricadono sulle tematiche di realtà virtuale e aumentata, ovvero la generazione di ambienti virtuali puri o ambienti misti sintetici e reali. Durante una simulazione di realtà virtuale l’individuo coinvolto ha la possibilità di agire, controllare e sperimentare con le stesse modalità che metterebbe in atto nel caso reale. Ad esempio, con i simulatori di volo è possibile addestrare i piloti calandoli in un ambiente virtuale, in cui l’allievo sperimenta tutte le situazione che si manifestano realmente durante le diverse fasi di un volo.
Una delle direzioni che sta prendendo la ricerca in questo campo è la generazione di ambienti completamente immersivi e realistici. In questo modo si potranno effettivamente sfruttare i prodotti della ricerca per svariate applicazioni, quali la creazione di ambienti per teleconferenza e telelavoro, la riabilitazione motoria, la terapia di malattie neurologiche, l'espressione artistica.
È inoltre chiaro che questi requisiti dovranno includere una percezione sensoriale più ampia possibile e quindi oltre all'ausilio visuale, quello uditivo ed eventualmente anche quello cinestetico e tattile. In questo ambito, si vogliono esplorare alcune applicazioni pilota con ricadute a livello sociale.
In generale, la ricerca sarà focalizzata verso lo sviluppo di tecnologie atte alla creazione di interfacce ergonomiche, efficienti ed intelligenti (perceptual interfaces), mediante l'uso cooperativo e competitivo dei 2 canali sensoriali visivo e acustico, eventualmente completato dalla percezione tattile (dispositivi aptici). In questo ambito, saranno sviluppati ambienti operativi e interfacce relative atte alla navigazione e percezione aumentata, come ad esempio, la guida di veicoli in scenari critici (p. es., in ambienti subacquei, spaziali, etc.), la navigazione personale in ambienti strutturati come città, musei e siti archeologici, la didattica interattiva.
La prima applicazione riguarda l'ausilio audio-visuale per persone non vedenti. In breve, mediante l'ausilio di telecamere e dispositivi audio (cuffie, auricolari) si cerca di fare percepire al non vedente l'ambiente circostante tramite l'udito. Il sistema di analisi video restituisce la profondità delle superfici della scena, ed il sistema di sonificazione produce suoni sintetici spazializzati associati alle patch di superfici preminenti, creando cosi' una sorta di "paesaggio sonoro" che rappresenta la scena.
Nell'ambito della ricerca, si intende assumere un approccio fisico alla creazione degli stimoli sonori. Cioè, semplici sistemi meccanici vengono simulati e controllati nei parametri che producono effetti chiari sulla percezione acustica (es.: dimensione, smorzamento, rigidità). In questo modo, pur non avendo il realismo di suoni preregistrati, si può ottenere una ottima capacità di controllo sul suono senza pregiudicare la naturalezza delle dinamiche acustiche. Un aspetto ancora poco indagato nella spazializzazione dei suoni riguarda la ricostruzione di pattern di radiazione acustica. Questo aspetto si rivelerà importante per la navigazione di scene, in cui la discriminazione del lato di un oggetto che si sta osservando può avvenire proprio grazie al pattern di radiazione (es.: è facile stabilire ad occhi chiusi se chi ci sta parlando è di spalle o di fronte).
La seconda applicazione riguarda l'analisi del movimento umano (motion capture) che ha visto nascere numerosi sistemi innovativi nel corso degli ultimi 20 anni. Alcuni punti del corpo del soggetto sotto analisi vengono contrassegnati mediante il posizionamento di piccoli marcatori la cui posizione nello spazio tridimensionale sarà riconosciuta dal dispositivo di misura. L’insieme dei marcatori applicati al soggetto ed il relativo modello biomeccanico ad essi associato permetterà di calcolare la posizione spaziale di ogni segmento anatomico del soggetto, del quale si intenda conoscere in dettaglio il movimento.
Accanto ad applicazioni legate all'industria dell'intrattenimento (cinematografica e videoludica) nella quali si "digitalizza" in studio il movimento di attori per poi animare un modello sintetico del corpo umano, l'impiego di un sistema di motion capture apre stimolanti possibilità nel settore dell'interazione uomo-macchina. Le applicazioni includono interfaccie gestuali e sistemi di realtà virtuale o aumentata che coinvolgono movimenti del corpo. Gli ambiti applicativi medici spaziano dalla pianificazione ortopedica e riabilitativa in pazienti disabili, al controllo pre e post operatorio, alla resa obiettiva dei risultati delle diverse tecniche chirurgiche, protesiche e rieducativo-motorie per bambini e adulti, a qualunque altra applicazione ove sia necessario quantificare un movimento o un gesto specifico.