Il visore di realtà aumentata Microsoft HoloLens, nonostante alcune dimostrazioni e video promozionali, è ancora un oggetto misterioso. Il devkit, acquistabile dagli sviluppatori a un prezzo di circa 3000 dollari, è oggetto per pochi e mancano informazioni sul suo funzionamento.
Questa era la situazione fino alle scorse ore, quando Microsoft ha deciso di rompere gli indugi e spiegare come funziona quello che definisce, più che un visore di realtà aumentata, un prodotto per la "realtà mista" (mixed reality). "HoloLens permette un computing olografico nativo", ha sottolineato un uomo della casa di Redmond.
"Non dovete mettere nessun tracciatore nell'ambiente, fare affidamento a videocamere esterne o altri dispositivi. Non servono cavi, né un telefono o un portatile. Tutto ciò che serve per interagire sono lo sguardo, i gesti e la voce".
La parte ottica di HoloLens
Tra i componenti più misteriosi ma allo stesso importanti di HoloLens c'è la parte ottica. A differenza dei visori di realtà virtuale che riproducono le immagini su schermi OLED situati di fronte agli occhi, visibili tramite lenti in vetro, HoloLens è definito come un "passthrough device", cioè permette di vedere il mondo reale che vi circonda. Le immagini (gli ologrammi) sono proiettati proprio davanti al corpo, a diversi metri di distanza.
Microsoft ha spiegato che il sistema ottico di HoloLens è composto: microdisplay - ottiche di immagine - guida d'onda - combinatore - griglia (che svolge l'espansione per la pupilla di uscita). Per capire meglio il funzionamento bisogna comprendere la differenza tra pupilla di entrata e di uscita. In questo caso la pupilla di entrata è il vostro occhio e la pupilla di uscita è la proiezione.
La chiave per far funzionare bene l'intero sistema è l'espansione per la pupilla di uscita, ottenuta mediante quello che Microsoft ha definito "eye box". Affinché un dispositivo come HoloLens funzioni, è necessario avere un "eye box" ampio ed espandibile. Nella realtà virtuale ricorre il termine IPD (distanza interpupillare), che definisce la distanza tra le pupille.
Questa distanza è differente in ogni individuo e ciò rappresenta un ostacolo per le tecnologie di realtà virtuale e aumentata. Come osservabile con i visori già in commercio - Oculus Rift e HTC Vive - è necessario regolare l'IPD meccanicamente, altrimenti l'esperienza visiva verrà sminuita.
HoloLens ha un IPD bidimensionale e questo significa che potete regolare l'eye box sia in orizzontale che verticale. Questa caratteristica, secondo Microsoft, conferisce al dispositivo l'eye box più ampio nell'industria. Per arrivare a questo punto Microsoft è partita da quelli che ha definito "light engine" o, in parole povere, "proiettori".
In HoloLens si parla di piccoli schermi a cristalli liquidi su silicio (liquid crystal on silicon, LQoD), come quelli che si trovano nei proiettori tradizionali. Ci sono due "light engine" HD 16:9 montati sul ponte delle lenti (sotto l'IMU, di cui parleremo dopo) da cui escono le immagini. Queste devono però passare tramite un combinatore, che mette insieme l'immagine proiettata e il mondo reale.
HoloLens usa una riflessione interna totale (total internal reflection, TIR) che, a seconda della forma del prisma, può far rimbalzare la luce internamente o puntarla verso il vostro occhio. Con l'IR il tutto può essere sfruttato per l'eye tracking. Secondo Microsoft "la sfida di fare tutto in questo modo è che il volume diventa più grande se si vuole un grande FoV (campo visivo, ndr)". La soluzione adottata da Microsoft è usare guide d'onda nelle lenti. Dato che è difficile inserirle nel vetro, la casa di Redmond ha applicato una copertura sulla superfice delle lenti che permette di ottenere una serie di griglie di diffrazione.
È cruciale che il tutto sia fatto correttamente altrimenti gli ologrammi galleggeranno nel campo visivo e si avrà una sensazione di nausea. "C'è uno schermo nella parte superiore le cui immagini passano tramite l'ottica e la griglia di diffrazione, e l'immagine è rifratta all'interno della guida d'onda. Poi si esegue il disaccoppiamento. Il modo in cui formerete queste griglie determinerà se potete fare l'espansione bidimensionale verso la pupilla di uscita".
Microsoft ha spiegato che si possono usare differenti tipi di griglie per realizzare ologrammi con colori RGB. Insomma, con un visore di realtà virtuale ci sono due piccoli monitor a poca distanza dal vostro volto, visibili tramite lenti in vetro. HoloLens vi mostra un'immagine proiettata, che è poi combinata, difratta e sovrapposta per produrre immagini che potete vedere nello spazio che vi circonda.
I sensori di HoloLens
A giocare un ruolo fondamentale abbiamo anche i sensori. Che si tratti di head tracking, eye tracking, sensibilità alla profondità, mappatura di un ambiente o altro, la qualità e persino la velocità dei sensori può fare la differenza tra una grande o una pessima esperienza. La barra dei sensori di HoloLens comprende quattro videocamere che si occupano di riprendere l'ambiente, due per ogni lato. C'è inoltre una videocamera di profondità, un sensore di luce ambientale e una videocamera per fare foto e riprese a 2 megapixel. Alcuni di questi componenti sono stati progettati da Microsoft, altri sono più comuni.
Le videocamere "ambientali" forniscono le basi per l'head tracking, mentre il tempo di volo (time of flight, ToF) della videocamera di profondità ha due scopi: aiuta con il tracking delle mani ed effettua la ricostruzione della superfice, che è fondamentale per poter apporre ologrammi sugli oggetti fisici (è ciò che fa anche Intel con Project Alloy).
Questi sensori lavorano di concerto con il modulo ottico descritto in precedenza e l'IMU (unità di misura inerziale), che è montata sulle lenti olografiche, appena sopra il ponte del vostro naso. "Le videocamere ambientali vi danno una posizione fissa nello spazio e una posa", mentre l'IMU lavora rapidamente affinché "quando muovete la vostra testa… è necessario poter fornire l'informazione sull'ultima posa nel display il più rapidamente possibile". HoloLens può fare tutto questo in meno di 10 millisecondi.
Il dispositivo ha quattro microfoni che beneficiano della compressione del rumore, inoltre ci sono speaker stereo vicino alla posizione delle orecchie. Alcuni hanno biasimato Microsoft per gli altoparlanti di HoloLens, definiti "troppo deboli", con l'audio che rischia di essere "inghiottito" dal rumore ambientale. In effetti può essere vero, ma offrono audio spaziale (e direzionale) senza cuffie (è possibile aggiungerle) che dovrebbe garantire un'elevata immersione nell'ambiente. Per quanto riguarda la connettività abbiamo Wi-Fi e Bluetooth - Microsoft non ha indicato le rispettive versioni.
L'hardware di HoloLens
Dal punto di vista hardware sapevamo che HoloLens integra un system on chip Intel Cherry Trail x86, una IMU e una Holographic Processing Unit (HPU). Microsoft è scesa maggiormente nei dettagli. Il dispositivo è dotato di una scheda madre ad hoc, senza ventole o dissipatori, su cui poggiano componenti di stampo mobile: un SSD eMMC da 64 GB e 2 GB di memoria LPDDR3 (1 GB ciascuno per il SoC e l'HPU). A bordo c'è Windows 10.
Il SoC Cherry Trail si occupa di gran parte del carico, ma è aiutato dalla HPU, che attualmente è definita "HPU 1.0". Il processore Intel si occupa di sistema operativo e applicazioni, mentre il lavoro della HPU è occuparsi delle altre operazioni - tutti i sensori si connettono alla HPU, che elabora i dati e li invia al SoC in modo ordinato e "più digeribili". Questo componente può eseguire circa un trilione di calcoli al secondo (è 200 volte più veloce di un equivalente software) e Microsoft ha aggiunto ai core diverse istruzioni personalizzate (il numero non è chiaro, c'è chi parla di 10 e chi parla di ben 300, ndr).
HPU 1.0
La HPU 1.0 è realizzata con processo produttivo 28nm HPC di TSMC, ha 24 core DSP (digital signal processor) di Tensilica, 65 milioni di gate logici, 8 MB di SRAM e come detto 1 GB di memoria LPDDR3 su un package BGA da 12x12 mm. Ha le proprie interfacce di I/O, tra cui PCIe e MIPI, e 12 nodi di calcolo. Il resto del chip comprende alcuni acceleratori a funzione fissa e blocchi logici. Secondo Microsoft i dati che escono dalla HPU sono "molto compatti" e il chip consuma meno di 10 watt.
La HPU, al momento, opera a non più del 50% delle sue capacità, quindi ha ancora moltissimi cicli di calcolo a disposizione. Ciò significa che Microsoft l'ha sviluppata con occhio al futuro e dovrebbe essere in grado, un giorno, di aggiungere più dati sensoriali, algoritmi più complessi, un riconoscimento dei gesti più complessi o combinazioni di tutto questo senza richiedere una completa riprogettazione dell'unità.
 | Playstation VR |