Lors de notre RA’telier du 26 mars, Julien Noé nous a présenté son benchmark des fonctionnalités Lidar sur les modèles Iphone 12 Pro et Ipad Pro d’Apple. Sans entrer dans les détails techniques, nous vous proposons un petit résumé de cette rencontre ainsi que la présentation de Julien.
La technologie lidar n’est pas nouvelle, elle existe depuis les années 1960 et elle est régulièrement utilisée dans de nombreux domaines, en particulier pour faire des captations “en volume” de scènes ou de d’objets. Les scanners de ce type sont quasiment tous destinés à des usages professionnels avec des prix dépassant largement les 10000€. Pour des appareils plus accessibles, avec des prix inférieurs, on trouve plutôt des appareils à lumière structurée ou à triangulation laser. Notez que ces modèles créent le modèle 3D avec une grande précision, souvent inférieure au millimètre mais pas la texture (sauf ceux utilisant la photogramétrie).
Les 3 promesses d’Apple sur l’utilisation du lidar sont expliquées lors de la conférence d’octobre 2020. La première est l’augmentation de la vitesse de focus en mode photo et vidéo, y compris dans les scènes les plus sombres. Aucun doute : les résultats sont spectaculaires ! La seconde est plus proche de notre domaine puisqu’il s’agit de mieux positionner les objets dans les décors réels. Ici également, la promesse est tenue puisque la carte de profondeur permet de gérer de manière fine les occultations. La stabilité de la scène, le positionnement du sol et des murs sont également fortement améliorés.
La troisième promesse concernait la possibilité de scanner des objets ou des lieux de manière simple et directe pour pouvoir ensuite utiliser le modèle produit dans des applications de réalité virtuelle ou de réalité augmentée. Cette fois, les résultats ne sont malheureusement pas à la hauteur des attentes.
Les deux modes de scan (high et Low) de l’application “3D scan” sont simples à utiliser mais produisent des résultats d’assez basses qualités. Les textures en particulier ont beaucoup de mal à être rendues proprement sur le “mesh” 3D en particulier si vous repassez sur des zones déjà scannées (exemples de scan sur Sketchfab). De même, les petits objets sont difficiles à scanner “simplement”. Attention, cela ne veut pas dire que les deux modèles d’Apple sont de mauvaise qualité. Il est par exemple tout à fait possible d’exporter les résultats des scans dans des logiciels comme Reality Capture, grâce aux nombreux formats disponibles, pour les retravailler proprement et obtenir des résultats exceptionnels. Il est également possible d’utiliser un export directement vers Sketchfab. Cependant, cela demande une certaine maîtrise des outils 3D et ne correspond pas à la promesse initiale qui, rappelons-le, devait permettre à tout le monde de créer un modèle 3D sans effort.
Notez également que le processus de scan et de reconstruction sollicite fortement les appareils. L’Ipad Pro dissipe mieux cette chaleur et reste plus confortable à utiliser si vous voulez faire régulièrement des scans. L’Iphone 12 pro à lui un processeur plus puissant et va donc réduire le temps de calcul.
Concernant l’intégration du LIDAR dans Unity, celui-ci est généré par ARfoundation directement intégré à Unity et permet de faire appel automatiquement au framework ARkit. Ensuite il suffit simplement de créer vos applications avec ARfoundation et Unity prendra directement le relais avec ARkit et le LIDAR quand celui-ci est disponible sur certains dispositifs. Nous retrouvons alors les avantages du lidar expliqués plus haut, avec une meilleure capacité de tracking des surfaces planes ainsi qu’une meilleure occlusion des objets situés dans le monde réel.
Comme vous l’avez constaté, cette première génération de Lidar apporte des fonctionnalités particulièrement intéressantes pour la réalité augmentée mais n’est pas encore la solution à toutes les demandes, en particulier pour les scans. A plus de 1000€ l’appareil on peut légitimement conclure qu’on ne l’achètera pas spécifiquement pour cette fonction. Mais si on l’a déjà, il y a moyen de faire des choses très propres !
Grégory MAUBON est consultant indépendant en réalité augmentée (animateur et conférencier) depuis 2008, où il a créé www.augmented-reality.fr et fondé en 2010 RA'pro (l'association francophone de promotion de la réalité augmentée). Il a aidé de nombreuses entreprises (dans plusieurs domaines) à définir précisément leurs besoins en réalité augmentée et les a accompagnées dans la mise en œuvre.