Sistemi di controllo e input
Fino a poco tempo fa si è parlato molto poco di sistemi di controllo e input. Con la parola "input" vogliamo indicare i controller progettati specificatamente per la realtà virtuale e l'interazione in un ambiente non fisico.
Proprio come Sixense ha aggiunto il tracciamento posizionale al Samsung Gear VR usando campi magnetici, anche i controller wireless STEM sono basati su campi magnetici. Questa è una vecchia tecnologia usata negli ambienti CAVE nei decenni scorsi.
CAVE (cave automatic virtual environment) è fondamentalmente una stanza di realtà virtuale basata sulla proiezione o, in rari casi, schermi di grandi dimensioni. Un CAVE di dimensioni minime è fatto con due muri e un pavimento, ma può arrivare a sei muri per coprire un'area maggiore. Sono usati con maggiore frequenza per simulazioni e ricerca.
Le prime forme d'interazione in ambienti CAVE erano legate a dispositivi e controller che rilevavano i gesti magneticamente. Il problema è che questi ambienti sono solitamente basati su grandi gabbie metalliche; similmente all'avversione di Superman per la Kryptonite, i campi magnetici non reagiscono bene al metallo - e questo è il motivo per cui negli ambienti CAVE si è finiti per focalizzarsi sul tracking ottico con videocamere.
Secondo Amir Rubin, CEO di Sixense, i nuovi controller STEM dell'azienda hanno superato le sfide associate all'interazione dei campi magnetici con le gabbie metalliche. Con l'assistenza di una inertial measurement unit (IMU) all'interno di ogni componente STEM, Sixense correla dati tra il campo magnetico e gli IMU per mantenere un'accuratezza costante. In tutte le demo che abbiamo visto la tecnologia ha funzionato bene.
L'offerta di Oculus VR contempla soluzioni chiamate Oculus Touch. Si tratta di dispositivi a cavallo tra il tracking a infrarossi di Oculus, già stato incluso in CV1 e Crescent Bay, e controller progettati per determinare i movimenti dell'utente.
A differenza delle tecnologie basate sui guanti che provano a determinare l'esatta posizione delle dita e l'impugnatura dell'utente, gli Oculus Touch emulano un'esperienza simile rilevando lo stato on-off dei differenti tasti e sensori capacitivi in base al modo in cui i controller sono tenuti dall'utente. All'inizio abbiamo fatto fatica a usarli, ma la curva di apprendimento di altri utenti è stata inferiore, ed è sicuramente un'opzione di gran lunga migliore per la realtà virtuale rispetto a un controller Xbox.
HTC e Valve hanno scelto la strada del raggio laser con il visore Vive e i suoi controller. Con la tecnologia, chiamata "Lighthouse", dovete montare sul soffitto due stazioni che emettono laser, ognuna ai lati opposti della stanza. Il visore e i controller sono ricoperti di sensori.
I sensori sono strategicamente posti lungo la forma del visore o dispositivo - o qualunque cosa debba essere tracciata. Quando i laser irradiano questi sensori, il sistema calcola dove e come il dispositivo è posizionato in relazione alle stazioni.
Conoscere la posizione dei sensori fornisce l'informazione necessaria per un head tracking posizionale istantaneo e il controllo degli input.
Per far funzionare The Walking Dead in realtà virtuale all'E3, il prototipo di visore StarVR sperimentale di Starbreeze Studios godeva di due pannelli 2,5K, lenti fresnel e un campo visivo di ben 210 gradi.
Il tracking è reso possibile tramite modelli riconoscibili chiamati fiduciary markers che sono incollati sul visore e su qualsiasi oggetto si voglia tracciare. Una videocamera esterna rilevava la disposizione di questi marcatori ed estrapolava il posizionamento di visore e oggetti. Emmanuel Marquez, chief technology officer di Starbreeze Studios, dice che l'azienda vorrebbe che la risoluzione del visore arrivasse fino a 8K, e si aspetta questo sia possibile entro i prossimi cinque anni.
Il prototipo avanzato ANTVR funziona in un modo totalmente differente. In questo caso il pavimento è costellato di materiale retroriflettente, e la videocamera integrata rivolta verso il basso del visore usa il tappetino per il rilevamento posizionale.
La piattaforma Move di Sony è formata dalla videocamera Playstation Eye e il controller Move. Il controller ha un globo che cambia dinamicamente colore, per assicurarsi che resti visibile alla videocamera senza confondersi con l'arredamento.
Il controller Move è inoltre dotato di accelerometro e sensore di campo magnetico per rilevare la rotazione del controller. Tutti questi elementi combinati permettono di avere un controller con un'accuratezza molto elevata.
L'aspetto interessante è che mentre la tecnologia di Playstation Move è stata pensata in origine come un metodo per interagire con i giochi, è anche facilmente riadattabile come tecnologia centrale di head tracking per il PlaystationVR perché rispetta tutti i criteri di bassa latenza e head tracking posizionale. Non tutto però si riconduce a quanto avete tra le mani. Ci sono controller per le gesture delle mani che captano ogni sfumatura delle dita.
Leap Motion ha le dimensioni di una piccola barra di cioccolato e ha due videocamere con tre LED a infrarossi. Le videocamere vedono ciò che è riflesso dall'infrarosso, e usando il software, creano mappe di ciò che c'è nel campo visivo. Il software più recente del Leap Motion include persino tecniche per compensare per il tracking scheletrico della mano quando una mano è coperta dall'altra.
Leap Motion traccia il movimento entro un metro di fronte al dispositivo, e Razer l'ha usato come specifica aggiuntiva ufficiale alla sua piattaforma OSVR per il tracking della mano con il proprio visore open source.
FOVE, un'azienda il cui nome deriva dalla parola "fovea" (la parte dell'occhio che permette la focalizzazione), sta sviluppando un visore che ha l'eye tracking e ha fatto dimostrazioni in cui la posizione degli occhi controlla l'interfaccia. La tecnologia può anche regolare l'aspetto della profondità di campo in base a ciò che si sta guardando.
Come detto in precedenza, un'enorme sfida per la realtà virtuale è avere abbastanza potenza di calcolo per fornire i frame rate richiesti e una latenza super ridotta. Anche se un campo visivo elevato è necessario per restituire la sensazione di presenza, non è necessario per assicurare la massima risoluzione in tutta l'immagine, perché la gente non vede i dettagli fuori dalla visione periferica.
Il tracking degli occhi apre la porta al foveated rendering, dove gran parte della potenza grafica è spesa su quella frazione di schermo dov'è concentrata la vista, e molto meno per l'immagine periferica. In breve, l'eye tracking apre le porte a un modo efficiente di renderizzare solo la grafica che c'è bisogno di vedere.
FOVE potrebbe rendere il foveated rendering disponibile nel momento in cui consegnerà il developer kit del proprio visore. L'azienda ha costruito un rapporto con Valve come un candidato per il tracking Lighthouse (Valve concede la propria tecnologia di tracking a terze parti e dispositivi qualificati).
C'è un'altra opzione che vale la pena menzionare: Sulon Technologies ha sviluppato un visore di realtà aumentata/virtuale che è totalmente wireless, con hardware a bordo. Si chiama Sulon Q. Ha un paio di videocamere che catturano l'ambiente circostante e su questo è possibile riprodurre oggetti digitali virtuali con cui interagire.