La Réalité Augmentée, c’est la possibilité d’inclure en surimpression de notre réalité quotidienne ce qui ne peut pas l’être, sous forme visuelle et sonore : soit immédiatement (voir un bâtiment fini dès le début de sa construction), soit impossible (voir dans son salon un vélociraptor qui chante avec Taylor Swift). Nous percevons ceci à l’aide d’un écran (téléphone ou tablette) ou de lunettes spéciales.
Dans cet exemple créé par la société REAL ILLUSIONS pour le groupe TF1, les explications sur le débarquement de Normandie apparaissent en réalité augmentée dans votre salon.
Développons !
Définir sans ambiguïté la réalité augmentée (RA) n’est pas si simple ! En effet, c’est un domaine transverse qui utilise de nombreuses technologies différentes. Le terme même de « réalité augmentée », qui est apparu en référence à celui de « réalité virtuelle », peut être trompeur. C’est assez compréhensible puisque ce n’est pas la « réalité » qui est augmentée, mais bien notre propre perception.
Nous allons donc ici vous proposer notre propre vision de cette technologie et notre propre définition basée sur celle de Ronald Azuma. Si vous voulez compléter description, n’hésitez pas à le faire !
Notions de base
La réalité augmentée peut être considérée comme une interface entre des données numériques, que l’on qualifie abusivement de « virtuelles », et le monde réel. Elle est donc différente de la réalité virtuelle. Pour être plus clair, elle doit avoir les trois caractéristiques suivantes :
- Combiner le monde réel et des données numériques en temps réel (pas de scène pré-calculée)
- Être interactif en temps réel avec l’utilisateur et avec le monde réel : une modification dans le monde réel (un déplacement, une interaction) entraîne un ajustement de la couche numérique.
- Utiliser un environnement en 3D (parce que nous vivons dans un monde en 3D)
Ces trois points sont plus ou moins respectés par les applications qui sont qualifiées de « réalité augmentée ». L’application « Pokemon Go » par exemple présente peu d’interactions avec l’environnement réel autre que la récupération des données du gyroscope et de la boussole du smartphone. On dira dans ce cas que cette application présente un niveau de réalité augmentée assez faible. Nous reviendrons par la suite sur ces différents niveaux.
Les différentes technologies de réalité augmentée
Il faut toujours garder à l’esprit qu’il existe plusieurs niveaux de réalité augmentée ainsi que plusieurs technologies de réalité augmentée, allant du simple gyroscope à l’intégration précise de données dans le monde réel. Dans tous les cas, l’idée est de rendre le robuste et précis le lien entre le réel et le virtuel.
La définition de Paul Milgram et son continuum
Les scènes réelles sont capturées par un système et interprétées par une unité de calcul (ordinateur, smartphone). Une grande partie du traitement va consister à « caler » et à « suivre » le lien entre réel et données numériques. Pour faire apparaître des lunettes sur votre visage par exemple, il faut savoir bien caler la position de vos yeux, de votre nez, etc. Et bien sûr en temps réel. Vous trouverez souvent dans la définition de la RA, des références aux travaux de Milgram et Kishino et en particulier leur fameux continuum entre le réel et le virtuel.
Sans remettre en cause l’intérêt de ces distinctions, il ne nous semble pas pertinent d’ajouter de nouveaux termes pour la compréhension du domaine. En effet, dans cette représentation, la distinction entre AR et AV est très floue. L’introduction de la « Virtualité Augmentée » n’apporte pas d’éclaircissement pour les utilisateurs et par la suite, nous n’utilisons plus ce terme.
La réalité augmentée permet de contextualiser des données, c’est-à-dire de les placer au bon endroit (et au bon moment). Bien que de nombreux exemples soient liés à la vision, la réalité augmentée peut « augmenter » n’importe lequel des cinq sens. Pour le moment, 95% des applications de la réalité augmentée sont visuelles, 4% sont sonores. Ce domaine se développe depuis quelques comme avec les lunettes de Bose qui ont été proposées entre 2019 et 2020, les lunettes de .lumen destinées aux personnes malentendantes, ou les lunettes Meta Ray-Ban. Les autres sens existent à titre de traces qui restent… surtout dans les laboratoires de recherche. On pourra noter cependant que le toucher pourrait bien être le prochain sens à être augmenté. Si les outils en sont encore à leur balbutiement, l’intérêt économique ne fait pas de doute. Imaginez pouvoir toucher le tissu du canapé ou du vêtement que vous voulez acheter en ligne.
Réalité Mixte, XR et autres mots à la mode
Si vous voulez creuser un peu plus le sujet de la Réalité Mixte, nous vous invitons à lire cet article : RA et RM sont dans un bateau, RA tombe à l’eau … Notez également que ce sont les liens entre RA et RM qui peuvent être interprétés comme des “niveaux” de réalité augmentée. Pour faire simple, plus le niveau est élevé, plus l’interaction entre le réel et les données numériques sont importantes. Les niveaux qui sont classés de 0 à 5, se basent en grande partie sur les publications de Philippe Fuchs et en particulier sur le livre “Théorie de la réalité virtuelle” (Presses des Mines 2018).
Depuis quelques années, le concept de XR se développe aussi, mais la traduction reste incertaine puisque certains y voient une réalité étendue (eXtended Reality) qui englobe la RA et la RV alors que d’autres utilise le « X » en remplacement de toutes les autres lettres possibles et en font donc un synonyme de technologies immersives. Pour approfondir le sujet, je vous invite à lire cet article : Voici venir le temps de l’eXtended Reality !
Un autre mot à la mode depuis le lancement du casque Vision Pro d’Apple, le Spatial Computing. Nous y avons consacré une série d’articles dont le premier revient sur les définitions possibles de ce terme.
Une (brève) histoire de la réalité augmentée
La réalité augmentée (RA), bien qu’elle semble être une technologie moderne, a une histoire riche qui remonte à plusieurs décennies. Depuis les premières expérimentations dans les laboratoires militaires avec des dispositifs “rudimentaires” jusqu’aux plateformes avancées d’aujourd’hui, la RA a évolué grâce aux innovations de nombreux pionniers. Ce court historique retrace les étapes clés du développement de la RA, illustrant comment cette technologie est passée des laboratoires de recherche aux applications grand public.
1962 : Sensorama de Morton Heilig
Morton Heilig a créé le « Sensorama », un dispositif immersif conçu pour simuler des expériences sensorielles complètes, comme une balade à moto dans New York. Bien que cette technologie soit davantage liée à la réalité virtuelle, elle pose les bases des éléments immersifs que l’on retrouve dans la réalité augmentée.
1968 : L’Épée de Damoclès d’Ivan Sutherland
Ivan Sutherland, souvent considéré comme le père de la RA, a développé le premier système de visualisation tête haute (HUD), appelé « L’Épée de Damoclès ». Ce casque était capable de superposer des graphiques informatiques sur la vue de l’utilisateur et de réagir aux mouvements de la tête, marquant un tournant important dans le développement des technologies de RA.
1975 : Myron Krueger et les Environnements Réactifs
Myron Krueger a créé les « Environnements Réactifs », un système interactif qui permettait aux utilisateurs de manipuler des objets virtuels en temps réel. Ce projet a jeté les bases des interactions en temps réel entre les utilisateurs et les environnements virtuels.
1980 : EyeTap de Steve Mann
Steve Mann a développé l’EyeTap, un dispositif portable qui capturait la scène en face de l’utilisateur et ajoutait des informations numériques sur l’affichage. Ce dispositif est souvent considéré comme l’un des premiers systèmes de RA fonctionnels.
1992 : Démonstration du Virtual Fixtures par l’Armée Américaine
Louis Rosenberg a développé « Virtual Fixtures » pour l’armée américaine. Ce système utilisait la RA pour superposer des informations supplémentaires sur l’environnement réel, aidant ainsi les utilisateurs à effectuer des tâches complexes avec une plus grande précision.
1999 : ARToolKit
Hirokazu Kato a créé l’ARToolKit, une bibliothèque open-source qui permettait le développement d’applications de RA. Cet outil a été largement adopté et est devenu une pierre angulaire pour de nombreux développeurs de RA.
2008 : Layar
La sortie de Layar, une des premières applications de RA pour smartphones, a permis aux utilisateurs de superposer des informations numériques sur des images capturées par la caméra de leur téléphone, démocratisant ainsi l’accès à la RA.
2013 : Google Glass
Google a lancé les Google Glass, des lunettes intelligentes qui permettaient de superposer des informations numériques directement dans le champ de vision de l’utilisateur. Bien que le produit n’ait pas rencontré un succès commercial immédiat, il a ouvert la voie à de nombreuses innovations dans le domaine des lunettes de RA.
2016 : Pokémon Go
Le jeu mobile Pokémon Go a popularisé la RA auprès du grand public en permettant aux joueurs de capturer des créatures virtuelles dans le monde réel. Ce succès commercial a montré le potentiel de la RA pour des applications ludiques et interactives à grande échelle.
2016 : HoloLens de Microsoft
Microsoft a lancé la première version de ses lunettes de réalité augmentée, HoloLens, en mars 2016. Les HoloLens ont été les premières lunettes de RA autonomes, intégrant des capteurs avancés et un affichage holographique, permettant des applications dans l’industrie, l’éducation et la médecine.
2017 : ARKit et ARCore
Apple et Google ont lancé ARKit et ARCore respectivement, leurs plateformes de développement de RA pour iOS et Android. Ces outils ont facilité la création d’applications de RA en fournissant des bibliothèques et des frameworks puissants pour les développeurs.
2018 : Magic Leap
Magic Leap lance ses lunettes de réalité augmentée (les Magic Leap One) après une énorme levée de fonds et des investisseurs prestigieux comme Google. Conçue principalement pour les développeurs et les professionnels, cette version a permis aux professionnels d’avoir un vrai concurrent aux Hololens.
2019 : HoloLens 2
Microsoft a lancé la HoloLens 2, une amélioration significative de son casque de RA, offrant un champ de vision plus large, une interaction plus naturelle et une meilleure ergonomie. La HoloLens 2 est utilisée dans divers secteurs, notamment l’industrie, la médecine et l’éducation.
2023 : Apple Vision Pro
Apple a introduit le Vision Pro, un casque de réalité augmentée et mixte haut de gamme, doté d’écrans haute résolution, de nombreux capteurs, et de fonctionnalités avancées de suivi oculaire et gestuel. Ce lancement marque une avancée majeure dans l’intégration de la RA dans les produits de consommation, avec des applications potentielles dans le commerce de détail, la productivité et le divertissement.