À la découverte du Gaussian Splatting et de ses usages avec Grégory Duvalet

Êtes-vous prêt à transformer vos contenus 3D en éclaboussures de gaussienne ? Cette introduction est un peu étrange j’en conviens ! Cependant, si vous travaillez dans les technologies immersives, vous devez avoir entendu parler de « Gaussienne Splatting » et du développement impressionnant de cette jeune technologie. Pour faire le point, nous sommes allés discuter avec Grégory Duvalet, conseiller technologique chez Clarté, pour nous éclairer sur une technologie très prometteuse.

Si vous ne connaissez pas Clarté, il s’agit d’un centre de ressources technologiques reconnu dans le domaine de la réalité augmentée, de la réalité virtuelle et des innovations immersives. Fort de près de 30 ans d’expérience, Clarté accompagne les entreprises dans leur appropriation des technologies immersives, notamment via des projets de R&D appliqués et des démonstrateurs innovants.

Voici quelques points que Grégory Duvalet aborde dans la discussion. Vous trouverez une liste de liens utiles en fin d’article.

Apparue en 2023 à la suite de travaux du laboratoire français INRIA, cette technologie s’inscrit dans la continuité des recherches sur les Neural Radiance Fields (NeRF), introduits en 2020. Là où les NeRF permettent de créer des environnements photoréalistes à partir de photos multi-angles via des réseaux de neurones, leur principal inconvénient reste le coût en ressources : rendus lents, lourds et très dépendants du matériel. Le Gaussian Splatting s’impose alors comme une alternative plus accessible, plus rapide et bien plus légère en termes de calculs.

Contrairement aux approches classiques fondées sur des maillages 3D, le Gaussian Splatting repose sur un nuage de points enrichis, où chaque point possède des coordonnées spatiales, des informations de couleur, mais aussi d’autres paramètres complexes comme un rayon, une opacité ou des harmoniques sphériques. Cette méthode permet une représentation dynamique : la scène n’existe pas en tant que structure fixe, mais se génère selon le point de vue de l’observateur. On ne « voit » que ce que notre regard est censé voir, selon notre position dans l’espace, ce qui constitue une véritable rupture par rapport aux modèles tridimensionnels traditionnels.

Grégory souligne également les avantages concrets de cette méthode face à d’autres technologies comme la photogrammétrie ou les nuages de points LiDAR. Non seulement le rendu est plus rapide (passant de plusieurs minutes à moins d’une minute pour certaines scènes), mais il gère également mieux les situations complexes liées à la lumière, comme les réflexions sur des surfaces vitrées, les effets miroirs ou les textures très sombres. Des rendus impossibles à obtenir correctement avec les techniques classiques deviennent accessibles grâce au Gaussian Splatting.

Sur le plan pratique, la captation est très ouverte : un simple smartphone ou iPad avec LiDAR suffit pour initier un projet. Des applications comme Polycam, Scaniverse ou PostShot facilitent le processus, allant de la capture jusqu’à l’exportation ou la visualisation. Il est aussi possible d’utiliser des appareils photo reflex, des caméras 360°, des séquences vidéo, ce qui rend la technologie particulièrement flexible. Grégory insiste néanmoins sur l’importance de certaines bonnes pratiques héritées de la photogrammétrie, comme le choix de la lumière au moment de la prise de vue, ou encore le besoin de couvrir l’ensemble du sujet sous différents angles.

Une fois captées, les données peuvent être traitées localement ou dans le cloud, selon les outils choisis. Le rendu peut ensuite être visualisé via des plateformes comme SuperSplat ou partagé en ligne, ouvrant la voie à des intégrations dans des logiciels de création ou de visualisation 3D. Une étape de nettoyage est souvent nécessaire pour retirer les artefacts ou redéfinir le cadre d’exploitation, notamment lorsqu’on souhaite se concentrer sur un objet précis.

Les secteurs d’application sont nombreux. Dans l’architecture et l’immobilier, la technologie permet de contextualiser des maquettes dans leur environnement réel avec un réalisme impressionnant. Dans les jeux vidéo et les effets spéciaux, elle facilite la création de décors ou d’objets immersifs avec une grande légèreté. Le luxe, les catalogues produits, le cinéma, mais aussi le BTP et la documentation de chantiers trouvent tous des cas d’usage pertinents, particulièrement grâce à la facilité de captation et à la compacité des fichiers. Dans le cas du BTP, par exemple, il devient possible d’archiver l’état d’une excavation en 3D avec une simple captation vidéo provenant d’un smartphone avant recouvrement.

Malgré tous ces atouts, le Gaussian Splatting n’est pas exempt de limitations. Il n’est pas (encore) conçu pour fournir des mesures précises, comme le ferait un scan LiDAR professionnel. De plus, le rendu reste dépendant de la perspective, et bien qu’il tende vers le photoréalisme, il ne génère pas de véritables maillages 3D exploitables pour tous les cas d’usage. D’autres technologies comme les NeRF ou la photogrammétrie peuvent rester plus performantes selon les objectifs visés.

Grégory évoque également les perspectives d’évolution, notamment autour de la 4D (en pratique des vidéos imemrsives) et les efforts en cours pour rendre la technologie compatible avec les casques de réalité virtuelle. Des plateformes comme Gracia VR, Niantic’s Scaniverse ou Meta hyperscale intègrent déjà le support du Gaussian Splatting dans leur chaîne de production, accélérant sa démocratisation.

Enfin, pour les professionnels de la XR ou de la création de contenu, il recommande de suivre l’évolution de la technologie via des sources comme RadianceFields.com, de s’inspirer des premiers cas d’usage, et surtout d’expérimenter avec les nombreux outils aujourd’hui disponibles, dont beaucoup proposent des versions gratuites en freemium.

Sources et liens utiles :

• A Comprehensive Overview of Gaussian Splatting https://towardsdatascience.com/a-comprehensive-overview-of-gaussian-splatting-e7d570081362/ 
• Scanning and processing 360 videos to 3DGS models https://www.youtube.com/watch?v=N15E_0kZ1UM&t=1s 
• 3D Consistent Gaussian Splatting GANs for High Resolution Human Head Synthesis  https://fraunhoferhhi.github.io/cgs-gan/
• Animated Gaussian Splat – Berkswell Windmill and Crane https://www.youtube.com/watch?v=i8r3w7WMmI0
• CAP’LAB CAPLAB Plateforme de Capture XR Laval Virtual Center Arts et Métiers Clarté https://youtu.be/iltFCIsKSFw?si=tlZrNCH-tU1j5Uqq 
• GaussianVLM Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond https://insait-institute.github.io/gaussianvlm.github.io/ 
• Radiance Fields https://radiancefields.com/
• Gaussian Splatting VR Viewer (Clarté) : https://github.com/clarte53/GaussianSplattingVRViewerUnity
• Gracia VR https://www.gracia.ai/ 
• Niantic’s Scaniverse https://scaniverse.com/ 
• Meta hyperscale https://tangchq74.github.io/Meta-infra.pdf 
• Supersplat https://superspl.at/