XR Experiences

Introducció

Al llarg de la història, l’ésser humà sempre ha cercat formes d’expressar-se per mitjans visuals, a través d’escenes, moments i experiències que permetin als altres experimentar-les amb tots els sentits. La idea es poder viure en mons imaginaris de la manera més realista possible.
La realitat ampliada (XR), és un terme general que permet agrupar tecnologies diverses però relacionades, on s’inclou la realitat virtual (VR), la realitat augmentada (AR), i la realitat mixta (MR).

Fent una mica d’història, l’any 1838, Charles Wheatstone va crear un dispositiu que permetia als usuaris veure una imatge independent amb cada ull, fent la sensació de veure una única imatge tridimensional. L’ Estereoscopi va ser un moment clau.

El primer sistema de realitat virtual va venir al 1962 on Morton Heilig va crear el Sensorama, un dispositiu que projectava imatges en format 3D estereoscòpic, combinant so estèreo amb una cadira mòbil per inclinar el cos, amb vent i aromes.

Avui en dia, amb l’ajuda de la tecnologia, es pot gaudir d’experiències molt més reals i concretes que permeten la immersió de la persona, això és possible gràcies a la realitat virtual i la realitat augmentada o combinades, en un entorn mixt.

Inici

Realitat virtual (VR)

La realitat virtual és la més àmpliament estesa. Amb la VR es necessari un dispositiu (que pot ser unes ulleres o un casc de realitat virtual), que bloqueja la visió del món exterior i es generen imatges (a través de l’ordinador o del mòbil) creant una sensació d’estar immersos i envoltats per un entorn tridimensional 360º que reaccionarà al que s’està fent.
La incorporació de l’àudio i de sensors de moviment, permeten interacció amb l’entorn, el que dona una experiència més real.

Realitat augmentada (AR)

La realitat augmentada, superposa gràfics, text, fluxos de vídeo i altres elements digitals sobre un espai, ja sigui una oficina, una sala d’estar, dins un cotxe, el jardí, un vestíbul d’un hotel, un centre comercial, fins i tot al carrer mitjançant un dispositiu mòbil, tauleta o ulleres, de forma que no intenta tancar el món real i substituir-lo per un entorn generat per ordinador.
De manera que enriqueix o augmenta la realitat.

Realitat mixta (MR)

La realitat mixta és una manera de descriure la integració entre els mons físic i digital.
La idea és tenir situacions en les quals no només es veuen objectes, sinó que també es vol interactuar amb ells, i això implica que el maquinari, el casc o les ulleres intel·ligents o qualsevol altre dispositiu, ha de fer molt més que mostrar gràfics en un vidre. Ha d’escanejar l’exterior, ha de reconèixer l’entorn, les parets, els mobles, les altres persones, per tal que pugui construir la seva pròpia consciència de l’espai i també reconèixer el que s’està fent amb les mans per poder tocar o agafar aquests objectes digitals.

La realitat mixta es pot trobar a les aplicacions de col·laboració més recents, on s’habilita un espai virtual, per exemple: una taula de conferències virtual, els companys de la reunió, arxius compartits i una pissarra digital, i es fan servir els sensors per detectar on es troba l’escriptori, reconèixer el teclat i generar una versió digital d’aquests objectes reals dins de l’entorn virtual, de manera que la persona que s’uneixi a una sala de conferències virtual, pot mirar cap avall i veure el seu escriptori i les seves mans al teclat.

Inici

Tecnologia XR

Per experimentar la realitat virtual, augmentada o mixta de forma immersiva, s’ha d’utilitzar una determinada combinació d’elements de maquinari i programari.
En general, totes les tecnologies que permeten a l’usuari interactuar amb l’entorn digital disposen d’un conjunt d’elements comuns:

• Processador. Maquinari que realitza el processament.
• Aplicació. Programari que gestiona tot el procés.
• Pantalla. Element que mostra a l’usuari l’escenari amb el qual interactua.
• Sensors. Elements que obtenen informació del sistema.
• Actuadors. Elements que envien comandes al sistema (perifèrics)
  

Addicionalment, són necessaris els següents elements:

• En RA i RM és necessària una càmera, que obtingui les imatges del món real (no en RV).
• És necessària connexió a Internet, en particular per a obtenir informació digital pre-gravada (per exemple la informació digital superposada d’un servidor remot una vegada identificat el punt d’interès).
• Activadors i marcadors. Elements que indiquen al programari en RA quan i on ha de superposar una informació.
  

Dispositius per experiències XR

Per les experiències XR es necessita un dispositiu HMD (Head Mounted Display) que es posa al cap i disposa d’un petit sistema òptic de visualització davant d’un ull o dels dos per reproduir imatges creades per ordinador.
Poden mostrar imatges generades per ordinador, imatges del mon real o una combinació d’elles.
Els HDM tenen moltes utilitats com per exemple els videojocs, l’aviació, l’enginyeria o la medicina.

Visors o dispositius pel cap (HMD) per VR

Els visors de realitat virtual són HDM combinats amb unitats de mesurament inercial (IMU), a més és necessita de l’aplicació de realitat virtual que divideixen la pantalla en dues meitats, desplaçant el punt de vista de cada una, per crear l’efecte estereoscopi proporcionant profunditat.

Visors de cartó per dispositius mòbils	HMD per dispositius mòbils	HMD autònoms	HMD Connectats(tethered)
Construïts de cartó plegable i dos lents, disposa d’un contenidor on s’encaixa el mòbil, que és el que proporciona la pantalla i els sensors de moviment.	Disposen d’un contenidor per posar el telèfon mòbil, que és el que proporciona la pantalla i els sensors de moviment.	Disposen d’un visor i sensors integrats i el seu propi processador. No necessiten connexió amb cap altre dispositiu.	Requereixen connexió física a un ordinador o a una videoconsola per l’aplicació de VR. Disposen de les seves pròpies pantalles i sensors.
El concepte de visor es redueix a la mínima expressió, requerint d’un mòbil i d’una aplicació VR. Permeten a l’usuari experimentar la realitat virtual de forma econòmica i accessible.	Requereixen del mòbil i d’una aplicació de VR	Menys prestacions que els HDM connectats, però hi ha més llibertat de moviments.	Disposen de sensors més precisos, major resolució, però hi ha restricció de moviments, ja que estan connectats a un altre equip.
Exemple: Visor de Google Cardboard.	Exemple: Samsung Gear VR, Google Daydream, Homido	Exemple: Oculus Go/Quest, HTC VIVE Focus	Exemple: Oculus Rift S, HTC Vive, Samsung Odyssey VR, Pimax 5K, Razer OSVR HDK2

Les aplicacions de realitat virtual divideixen la pantalla en dues meitats, desplaçant el punt de vista de cada una, per crear l’efecte estereoscopi proporcionant profunditat.

Inici

Altres dispositius per AR i MR

Ulleres de AR	Dispositius MR	HUD Pantalla de visualització de dades	Dispositius amb funcions Hàptica
Es tracta d’ulleres amb la capacitat i funcions necessàries perquè els usuaris puguin gaudir de la realitat augmentada.	Les lents de les ulleres són parcialment transparents perquè l'usuari pugui veure l'entorn físic. Amb l'ajuda d'un programari AR, els elements digitals poden projectar-se al camp de visió.	És una pantalla transparent en la qual es projecta informació digital que millora la informació visual del món real.	Les funcions hàptiques ofereixen un grau addicional d'immersió, que permeten sentir i tocar, creant sensació de pressió, textura i vibració, però encara són dispositius molt cars.
Exemple: Google Glass Enterprise, Vuzix Blade.	Exemple: Microsoft HoloLens 2, Magic Leap 2, NReal Light	Exemple: OBD2 Car HUD Mirror, Display C1	Exemple: Guants, armilles o vestits hàptics.

Certs dispositius permeten utilitzar les mans o gestos específics per obrir menús i executar aplicacions, però a hores d’ara, si es vol nivells de control i operacions molt exactes, la utilització de controladors de mà dona més precisió que les mans.

Inici

Plataformes de programari XR

El programari és el que defineix les interaccions i les experiències dels mons que es superposen al món real per submergir-se en altres entorns digitals.

La computació espacial permet barrejar el món real i el digital. Segons Simon Greenwold (2003), la computació espacial és «la interacció d’una persona amb una màquina en la qual la màquina conserva i manipula els referents dels objectes i espais reals». La computació espacial és el pas imprescindible per avançar de les interaccions bidimensionals a les tridimensionals.

En l’àmbit de la realitat ampliada, el sistema té una noció de l’espai que l’envolta per a interactuar amb ell. Fa servir les interaccions de l’usuari (com els seus moviments corporals, els seus gestos o altres fonts de dades) com a informació d’entrada per les interaccions digitals, combinant-les amb l’espai físic.

A continuació, es resumeixen algunes de les eines i plataformes de programari que s’usen per desenvolupar projectes de VR i AR:

• Modelatge/escanejat en 3D: Blender, 3DS Max, LightWave, Autodesk MAYA, SketchUP, ZBrush.
• Desenvolupament de plataformes de VR i AR: Unity, Unreal, Amazon Sumerian.
• Frameworks i kits de desenvolupament de programari (SDK): Apple ARKit, Cardboard SDK, Oculus SDK, Windows Mixed Reality, Google ARCore, React 360, WikiTude, OpenVR, Vuforia, VRTK.
• Entorns web: A-Frame, WebXR Device API, AR.js.
• Tecnologies relacionades amb XR: Cloud computing i Edge Computing, Bessons digitales (Digital Twins), Big Data, Internet de las coses (IoT), Intel·ligencia artificial, Automatizació, Blockchain i Tecnologia 5G.

Els desenvolupadors de programari i els científics de dades han de dissenyar algorismes intel·ligents i eficients per produir característiques XR interessants que ofereixin experiències d’usuari immersives.

Alguns dels llenguatges de programació utilitzats al disseny de XR inclouen C, C++, Java, JavaScript, Python i Swift.

Per altra banda, s’ha de tenir en compte que qualsevol aplicació VR requereix d’un bon nivell de potència de computació. A la VR sempre hi ha moviment, ja que la imatge s’està emmascarant directament als ulls, això vol dir que són molt més sensibles a ella. Si la velocitat és lenta, els ulls ho perceben malament, i no només interfereix amb el sentit de realisme o presència, també pot fer sentir desorientat i marejat, per això es necessiten 60 FPS com a mínim, i s’espera arribar fins i tot més ràpid de 120 FPS.

La latència també és un factor important a les aplicacions XR, ja que el maquinari ha de minimitzar qualsevol retard entre el moviment del dispositiu i l’actualització de la imatge que es veu. Si hi ha un desajust entre l’oïda interna i els ulls, això condueix ràpidament al vertigen. Una velocitat de fotogrames ràpida i una baixa latència són molt més importants que la resolució de la imatge.

Inici

Experiències XR

La XR disposa d’una àmplia gamma d’aplicacions al món, algunes de les quals, inclouen entreteniment, atenció mèdica, educació, comerç, màrqueting… per posar alguns exemples.

Aplicacions reals i futures

Entreteniment: La indústria de l'entreteniment va ser de les primeres a adoptar i potenciar la XR, en el sector dels videojocs i en parcs d'atraccions. Els usuaris poden obtenir experiències virtuals d'esdeveniments esportius i musicals utilitzant els seus visors de realitat virtual.	Indústria: Son aplicacions XR creades per simular entorns perillosos o aplicacions de realitat augmentada per poder donar informació en temps real en espais reals. També ajuda a la reducció del treball manual per augmentar la productivitat empresarial.
Comerç: La XR en aquesta categoria, hi ha la possibilitat de provar els productes virtualment abans de comprar-los, també permet afegir capes d'informació addicional dels productes reals o inclús personalitzar-los.	Medicina: Gràcies a la realitat mixta, els equips especialitzats, personal clínic i personal administratiu, poden col·laborar de manera remota. Així, poden realitzar consultes virtuals a pacients, reduir el temps de diagnòstic i de tractament. A més, és una eina molt útil per dur a terme simulacions d'operacions, per optimitzar al màxim el procés i els resultats de l'operació real en pacients.
Educació i formació: La realitat ampliada obre noves vies per la formació i l'educació. Permet millorar els processos d'aprenentatge, l'efectivitat dels mateixos i la implicació dels alumnes. Mitjançant l'ús d'aquestes eines, els estudiants aprenen molt més ràpid i retenen millor els coneixements, i poden aprendre de manera efectiva, sense cap risc potencial d’accident, com per exemple: pilotar un avió.	Turisme: La realitat ampliada permet oferir al viatger una experiència similar a la que tindria al lloc de destí. Així neixen les visites virtuals que permeten als viatgers aprendre sobre llocs més remots.

Reptes XR

Algunes aplicacions de realitat augmentada ja són part de la vida quotidiana, com per exemple les aplicacions de “Pokémon Go” o els filtres que s’utilitzen a diferents xarxes socials.
L’ús de la realitat virtual avança sobretot en l’àmbit dels videojocs, encara que els requisits tècnics, suposen un obstacle.
La realitat mixta es limita sobretot a les empreses.

Totes les formes de XR troben un lloc a la vida quotidiana però encara han de superar alguns reptes:

• Costos elevats dels dispositius i del desenvolupament del programari.
• Legislació i Protecció de dades, a vegades les aplicacions d’aquests tipus suposen la recol·lecció de moltes dades, algunes de tipus personal, i es per això que el compliment de la política de privacitat suposa un repte a nivell de legislació i protecció de dades. Així com el copyright del contingut multimèdia.
• Limitacions digitals i tècniques, com per exemple la consolidació de les infraestructures informàtiques, ja que es requereix de major amplada de banda i menor latència.
• Desenvolupament i dissenys de dispositius. Els dispositius necessiten encara molt potencial de desenvolupament, ja que per exemple el control gestual, es limita exclusivament a dos moviments de mans. O els dispositius tipus casc solen ser massa pesats e incòmodes per a utilitzar-los durant un període de temps llarg, i també l’autonomia.
• Falta d’estudis sobre efectes a mitjà i llarg termini d’usos continuats d’aquestes tecnologies.

La majoria de les aplicacions XR disponibles d’avui en dia, encara són molt experimentals. Algunes d'elles són projectes d’investigació i dissenyats per recollir dades amb finalitats de recerca.

Algunes veus crítiques fins i tot, podrien dir que la majoria de les aplicacions XR actuals, són només exemples d’entreteniment, però la majoria del que es veu avui, és un precursor del que realment vindrà. Fent ús de la imaginació per extrapolar, es pot arribar a veure el potencial de la tecnologia XR.

Vídeos d’experiències XR

• Envisioning the Future with Windows Mixed Reality (https://youtu.be/2MqGrF6JaOM)
• Hyper-Reality (https://vimeo.com/166807261?embedded=true&source=vimeo_logo&owner=937788)
• Tesla Suit Master reality (https://www.youtube.com/watch?v=fxYGSKzrzDQ&t=8s)
• FeelReal’s multi-sensory mask (https://www.youtube.com/watch?v=0rLw2nFmGnc&t=102s)
• Experiència gastronòmica (https://www.youtube.com/watch?v=PoAX52FiDOM)

Inici

Referències

https://www.acta.es/medios/articulos/ciencias_y_tecnologia/063001.pdf
https://app.pluralsight.com/library/courses/extended-reality-metaverse-executive-briefing/table-of-contents
https://vivevirtual.es/realidad-virtual-inmersiva-aumentada-mixta/

Glossari

• Estereoscopi (imatge tridimensional 3-D): es refereix a qualsevol tècnica d’enregistrament de la informació tridimensional visual o a la creació de la il·lusió de profunditat en una imatge.
• FPS: Fotograma per segon, és la unitat de mesura que indica la freqüència a la qual un reproductor o un enregistrador d’imatges genera els diferents fotogrames. Com a norma general el cinema fa servir habitualment 24 fotogrames.
• IMU (Inertial Measurement Unit): Dispositiu electrònic que mesura i informa sobre la velocitat, orientació i forces gravitacionals d’un aparell.
• HMD (Head Mounted Display): és un dispositiu de visualització semblant a un casc, que permet reproduir imatges creades per ordinador sobre una pantalla, situada molt pròxima als ulls o directament sobre la retina dels ulls.
• XR (eXtended Reality): Realitat ampliada. Engloba la realitat virtual, la realitat augmentada i la realitat mixta.
• VR (Virtual Reality): Realitat virtual. Tecnologia de simulació que utilitza tècniques informàtiques per a crear entorns virtuals, els quals l’usuari percep com a reals per mitjà de sensacions òptiques, tàctils i acústiques.
• AR (Aumented Reality): Realitat augmentada. És una tecnologia que incorpora elements virtuals a un entorn físic real.
• MX (Mixed Reality): Realitat mixta. Combina la realitat virtual i la realitat augmentada, de manera que l’usuari se senti immers en un entorn on hi ha objectes virtuals integrats dins el món real.

Inici

###### **Unitat Arquitectura d'Entorn Digital de Treball**
###### **Direcció Arquitectura i Components Transversals**

---

comments powered by Disqus