Apple Vision Pro : pivot de la réalité augmentée ? (1/3 Naming et Technique)

Le 5 juin dernier, Apple a officialisé son entrée dans le monde des matériels immersifs en annonçant son casque Vision Pro lors de la WWDC 2023. Présenté comme un outil de réalité augmentée, il convenait de prendre un peu de temps pour réfléchir à cette annonce et pour décrypter (humblement) la stratégie de l’entreprise dans ce domaine déjà bien peuplé. Pour cela, nous vous proposons une série de 3 articles qui s’intéresseront à la partie technique et à la manière de nommer le secteur, aux utilisations mises en avant et à la place des développeurs/créateurs de contenus, et enfin une discussion sur l’importance (ou pas) de cette annonce.

We all know that Apple doesn’t enter a market to lose and so through their financial analysis, deliberate observations of the market and patience, they see an opportunity and disrupt the tech world by introducing Vision Pro.

Danny Goel, MD – CEO precisionOS

Préambule sur le « spatial computing » et le choix des mots

Avant d’aller sur le casque lui-même, il est impossible de passer à côté du choix des mots utilisés pour nous qui sommes dans le domaine de la réalité augmentée depuis des années. Factuellement, le Vision Pro est un casque de réalité virtuelle permettant des expériences de réalité augmentée par l’intermédiaire d’un couple caméra-écran (en anglais video see-through). C’est la manière de vivre la grande majorité des expériences de RA, par exemple au travers d’un smartphone. C’est également le choix technologique fait par une grande partie des casques actuels des entreprises Lynx, HTC, Pico ou Meta. L’autre manière de faire est celle des Hololens de Microsoft ou des Moverio d’Epson, lunettes transparentes par lesquelles vous voyez le monde sans intermédiaire (on dira ici optical see-through).

Apple parle de réalité augmentée et de spatial computing dans sa présentation. En creux, on comprend que :

1. La réalité virtuelle ou encore le Métavers fait trop penser à Meta
2. Le terme réalité mixte a été (mal) utilisé par Microsoft pour lancer son casque Hololens puis rendu plus confus encore avec les casques video see-through. Si vous voulez creuser un peu le sujet, je vous invite à relire cet article.
3. La réalité étendue (extended reality ou XR) est très utilisée pour parler soit des technologies immersives, soit d’usages particuliers.

Quel mot reste-t-il pour dire que l’on ne fait pas exactement comme les autres tout en… le faisant ? “Spatial computing” est un bon candidat, car il n’est pas trop utilisé, assez facilement compréhensible et a une histoire suffisante pour ne pas être juste sorti du chapeau. 

Comme tout terme qui a une histoire, le “spatial computing” a une définition posée en 2003 par son inventeur. Sans entrer dans les détails, le concept s’attache aux interactions entre les éléments d’un même espace (personne, objet, machine, ordinateur, data) et à la suppression des barrières entre les mondes physiques et numériques. On va donc beaucoup parler de jumeau numérique, de capacité pour les objets de percevoir leur environnement (IoT), de mécanismes de décision (AI), etc. Pour les plus curieux, vous noterez que cela se rapproche de la définition originelle de la réalité mixte donnée par Paul Milgram and Fumio Kishino dans leur article de 1994. Mais, c’est une autre histoire…

Donc le choix du terme peut faire entrevoir deux pistes de développement (il vous faut avoir vu Kung fu Panda pour comprendre les référence)  :

• La voie de Po : Apple a pris le premier nom, à peu près correct et pas trop utilisé. Le passé à peu d’importance puisque l’entreprise va réinventer par elle-même ce qu’est le “spatial computing” et retrouver la technique ancestrale de la Prise De Doigt Wuxi. Donc Skadoosh et les concurrents sont à terre.
• La voie de Oogway : Apple a choisi à dessein le terme, car le développement des produits de la gamme dans l’écosystème Apple vise à rendre ces derniers “conscients” de leur environnement et à faciliter les interactions avec l’utilisateur. Et, comme planter la graine d’un pêcher ne pourra donner à la fin que des pêches, les fonctionnalités immersives vont se diffuser dans tous les appareils Apple au fur et à mesure des renouvellements de gamme. 

La partie technique

C’est la partie la plus facile à aborder puisque beaucoup d’éléments sont connus et vous pouvez consulter la très bonne description de Karl Guttag dans sa série d’articles. Il y a un certain consensus entre les experts du sujet pour reconnaître l’excellente qualité générale du casque. Avec ses 12 caméras, de nombreux capteurs, un écran micro-OLED 4K pour chaque œil, du suivi oculaire, une latence imperceptible, n’en jetez plus, c’est bien une bête de course. Aucun autre matériel ne peut rivaliser aujourd’hui avec lui et la barre est placée assez haute pour qu’il reste dans une position dominante quelque temps, sauf à aller chercher des matériels de dingues comme le XTAL de VRgineers.

La définition de l’écran et sa luminosité sont louées dans de nombreux articles. Il semble assez simple de lire des textes et aucune pixellisation n’est visible. Certains testeurs parlent toutefois d’un certain flou dans le rendu du monde extérieur, mais il est difficile de savoir si c’est un effet des matériels de démonstration. 

Il est étonnant que la cadence de rafraîchissement des écrans et le champ de vision ne soient pas explicités. En consultant plusieurs analyses cependant, il est possible de comprendre que le casque reste sur les standards actuels puisque des utilisateurs mentionnent la vision de la limite de champs dans les coins. On peut donc supposer un rafraîchissement de l’ordre de 90hz et un champ de vision de 90/100° (Karl Guttag avance 120°). On reste dans la gamme Quest 2 et Pico 4. 

Le design du casque semble réussi pour la plupart des utilisateurs, mais cela reste évidemment une affaire de goût personnel. On peut noter cependant qu’il n’est pas décrit comme lourd et qu’il s’ajuste rapidement, y compris pour des novices. La partie avant étant en verre, certains y ont vu une potentielle fragilité, mais c’est encore à démontrer. Nuançons toutefois les appréciations qui viennent d’un test de 30 minutes. Il faudra un peu plus de temps pour ressentir des jeunes venant par exemple d’un déséquilibre du casque que l’on voit plutôt porter son poids vers l’avant. 

La batterie externe est un choix assez surprenant en 2023. On peut imaginer que l’inclure dans le casque aurait trop alourdi l’ensemble, mais c’est tout de même un vrai retour en arrière par rapport aux concurrents. L’autonomie de 2 heures annoncée de la batterie n’est pas extraordinaire, voire même assez faible compte tenu de certains usages mis en avant (films), mais il est possible de se brancher directement à une source d’énergie. Peut-être des batteries supplémentaires seront-elles proposées pour les longues utilisations en extérieur ? Aucune annonce n’est pour le moment faite dans ce sens. On comprend globalement par ces choix que les expériences proposées aux utilisateurs seront majoritairement sédentaires, voire carrément fixes. 

Le principe du EyeSight est intéressant. Il s’agit de faciliter le contact visuel avec les personnes qui restent en interaction avec vous dans le monde réel. Dans la pratique, le visage de l’utilisateur est scanné en 3D pour construire son avatar dans les outils Apple, mais également pour faire apparaître ses yeux sur l’écran du masque. L’apparition du regard est effective quand l’utilisateur et en mode “réalité augmentée”, quand il voit l’extérieur. Il faudra voir à l’usage si cette option est vraiment utile, car évidemment, vous avez toujours un casque sur la tête, et la sensation pour la personne extérieure reste assez étrange. 

La molette de réglage sur le haut du casque est conçue pour faire passer progressivement l’utilisateur d’un mode RA ou il perçoit son environnement à une mode virtuelle ou il est complètement immergé. Cette fonctionnalité est présentée comme une sorte d’acclimatation à l’immersion, ce qui est cohérent avec l’idée d’un casque pour “débutant”. Encore une fois, c’est une fonctionnalité intéressante qu’il sera nécessaire de prendre en compte dans les futures applications. 

Si l’ajustement automatique des positions des yeux est dans la ligne “facilitatrice” des appareils de Apple, l’impossibilité d’utiliser le casque avec des lunettes est un choix très contraignant. Il impose de se procurer des verres correcteurs spécifiques (proposés par Zeiss). On peut imaginer que cette étape sera proposée dans les Apple stores pour la rendre simple, mais rien n’indique qu’elle sera incluse dans le coût du casque. Certains pourront dire que, vu le cout annoncé, on n’est plus à cela prêt, mais cela implique également des problèmes d’utilisation du casque à plusieurs, au sein d’une famille ou d’une équipe. Pour mémoire, environ une personne sur deux pour des lunettes dans le monde… 

Une dernière interrogation est liée au choix de ne pas utiliser de contrôleur pour le Vision Pro.  Durant les tests de la WWDC les interactions ont été décrites comme simples et faciles. L’ergonomie de l’interface, dont nous parlerons ultérieurement, est faite pour une manipulation à la main, en utilisation les données de position des yeux et éventuellement la voie. Évidement, les expériences présentées lors des démonstrations étaient très passives et ne nécessitaient pas de gestes particuliers, très précis ou très rapides. L’apparition d’applications plus actives pour l’utilisateur, comme des jeux, pourrait demander d’autres moyens d’interactions. Pour le moment, Apple n’annonce pas d’accessoires particuliers mais, en même temps, rappelle que le Vision Pro est équipé de bluetooth. Il est probable que des propositions apparaissent en début d’année prochaine, suivant les applications qui seront disponibles.

Tentative de conclusion de cette partie ?

Les autres articles

Apple Vision Pro : pivot de la réalité augmentée ? (2/3 Usages et développeurs)

Apple Vision Pro : pivot de la réalité augmentée ? (3/3 marché et stratégie)

Les sources intéressantes

• What Is Apple’s Vision Pro Really For?
• Apple Vision Pro Apps Can’t Access The Cameras
• Building a cheaper Vision Pro won’t be easy for Apple
• Apple Vision Pro : après l’effet whaou, retour à l’aridité des labos – ZDNet
• La réalité mixte bientôt accessible au grand public, mais pas grâce à Apple – FredCavazza.net
• Here’s What Mark Zuckerberg Thinks Of Apple Vision Pro
• Sorry, but Apple’s Vision Pro isn’t for you | TechCrunch
• The Apple Vision Pro hasn’t really impressed consumers, but that isn’t the goal – for now
• Vision Pro developer kits will help devs get their apps ready before launch | Ars Technica
• Editorial: We are entering into a new cycle of XR – The Ghost Howls
• « Apple valide technologiquement qu’on fait les choses bien » : le concurrent français du casque Vision Pro se réjouit – Numerama
• Vision Pro d’Apple : move slow and fix things – Petit Web
• Les nouveautés AR/VR de la semaine : Meta Quest 3 vs Apple Vision Pro  – OCTO Talks !
• Le casque Vision Pro, une réalité encore trop virtuelle – Le Monde Informatique
• Digital Explorers’ Diary #41 – Digital Explorers’ Diary
• Apple will need to convince developers to build apps for its headset | MIT Technology Review
• The Vision Pro’s biggest advantage isn’t Apple’s hardware – The Verge
• Apple dévoile le Vision Pro, son casque de réalité mixte ultra haut de gamme à 3499 dollars
• Editorial: Apple Vision Pro is a mix of innovation, and year-2016 VR, for a hefty price. But… – The Ghost Howls
• Apple Vision Pro is Apple’s new $3,499 AR headset – The Verge
• Apple Vision Pro hands-on: A new milestone for mixed reality, but issues remain | Engadget
• Apple Vision Pro (Part 1) – What Apple Got Right Compared to The Meta Quest Pro – KGOnTech
• Apple Vision Pro (Part 2) – Hardware Issues – KGOnTech
• Apple Vision Pro (Part 3) – Why It May Be Lousy for Watching Movies On a Plane – KGOnTech
• Devs find that Vision Pro can’t do true room-scale VR, but that’s no surprise | Ars Technica
• Oculus Founder Explains What Apple Got Right & Wrong on Vision Pro – Road to VR
• Apple Vision Pro Will Support WebXR for Immersive Web Experiences
• VisionOS : 17 choses que les développeurs doivent savoir dès maintenant – ZDNet
• Unity’s Apple Vision Pro game development tool opens in beta
• What’s Apple’s Long-Term AR Vision?
• Apple sharply cuts Vision Pro headset production target
• Pourquoi Apple a-t-elle une division interne dédiée au Vision Pro ?

Les sources focalisées sur les tests

• Apple Vision Pro — I asked 3 analysts who tried it if this headset will fly or flop | Tom’s Guide
• First impressions: Yes, Apple Vision Pro works and yes, it’s good | TechCrunch
• J’ai essayé l’Apple Vision Pro et je commence à croire qu’il est l’ordinateur du futur – Numerama
• Vision Pro: I just tried Apple’s first spatial computer, and here’s what I think – 9to5Mac
• I wore the Apple Vision Pro. It’s the best headset demo ever. – The Verge