Par Julien Breitfeld, Creative technologist chez Fabernovel

Tout le monde a en mémoire la photo d’un Mark Zuckerberg déambulant, goguenard, lors de l’événement S7 de Samsung à Barcelone en 2016, au milieu d’une foule équipée de casques VR. Venu vanter les mérites du logiciel Oculus, racheté 2 ans plus tôt, le jeune PDG déclarait la réalité virtuelle, « the next platform » : une plateforme expérientielle, ludique, et sociale. 

Trois ans plus tard, Facebook a lancé 3 versions de son propre casque VR (Oculus Go, Rift et Quest), Google son casque DayDream, Microsoft en est à la version 2 de Hololens, MagicLeap commercialise enfin ses lunettes AR, et le bruit court qu’Apple dévoilerait les siennes en 2020.

La course à la technologie

Le monde qui arrive, que l’on peut appeler Metaverse, et qui est repris à gros traits par le schéma en couches de MagicLeap, s’inspire du modèle OSI, qui caractérise le fonctionnement du réseau. Et comme ce modèle a été décliné économiquement (les fameux services OTT), on assiste à une consolidation des couches et une tentative d’appropriation, qui n’est pas sans rappeler les 40 dernières années de l’industrie informatique.

Coté hardware et OS, Apple et Google mènent le bal, avec Arkit et ArCore, et les tentatives de Facebook, MagicLeap ou Microsoft de percer sur des devices et des OS propres.

Au-dessus, la couche de modélisation 3D lorgne du côté des plateformes, avec Unity, Unreal Engine (porté par le succès de Fortnite) ou encore CryEngine. On notera également l’incursion d’Amazon sur ce segment, avec le moteur de jeu Lumberyard.

Un cran encore au-dessus, des infrastructures de développement comme le Lens Studio de Snapchat, ou la Real World Platform de Niantic, dont le CEO, John Hanke, déclare ses ambitions de « Social AR Platform », en voulant opérer pour la réalité augmentée « like Amazon Web Services does for cloud computing ».

Bien évidemment, toute l’industrie a en tête l’énorme erreur d’IBM dans les années 1980, abandonnant le cœur de valeur (l’OS) à Microsoft. Et tous les acteurs suscités de jouer sur un, deux ou trois couches, à l’instar de Niantic développant en propre les franchises Pokemon Go ou Harry Potter.

C’est d’ailleurs avec cette problématique en tête que Mark Zuckerberg interpellait en 2015 son comité de direction et justifiait son intention de procéder à l’achat de Unity pour détenir encore une couche et avoir un pouvoir de négociation avec les fournisseurs d’OS :

« Nous sommes vulnérables sur les mobiles qui fonctionnent avec les services de Google et d’Apple car ils forment de grandes plates-formes mobiles […] D'un point de vue temporel, nous en tirerons avantage dès que la prochaine plate-forme deviendra omniprésente et que le temps passé dans un monde essentiellement mobile dominé par Google et Apple est réduit au minimum. Plus cette période est courte, moins notre communauté est vulnérable aux actions des autres ».

Et même si dans l’esprit du PDG à capuche, la réalité virtuelle mettrait 10 ans à percer, il incombait à l’entreprise « non seulement gagner la bataille de la VR/AR, mais aussi d’accélérer son arrivée sur le marché ». Cette même stratégie était déployée par Google, lequel proposait d’abord le cardBoard (en openSource), puis sa plateforme VR Jump, et créait dans la foulée son propre studio de création Spotlight Stories, tous deux fermés depuis pour se concentrer sur l’AR, avec Playground.

Quand on parle d’AR/VR, Il ne faut évidemment pas s’arrêter au gaming, bien souvent la porte d’entrée des technologies chez les geeks précurseurs, qui va ensuite infuser à mesure que ces mêmes geeks vieillissent. Les filtres Snap ont de fait bien accéléré l’adoption de l’AR, et des secteurs tels que l’industrie de la beauté, de l’habillement ou du luxe ont naturellement sauté le pas pour proposer des essayages virtuels et tests « grandeur nature ».

Ces avancées rapides sont le fait de la montée en puissance des processeurs graphiques, les GPU, qui calculent plus vite que les CPU. Rendus incontournables par l’interface graphique essentielle aux smartphones, ils ont également permis de développer concomitamment l’autre avancée technologique majeure de ces 10 dernières années, « l’intelligence artificielle ».

En effet, les processeurs graphiques permettant de générer des modèles 3D complexes (des millions de vertex et de shaders) sont également très efficaces dans le calcul statistique. L’intelligence artificielle est, n’en déplaise aux néo-luddites, très loin de Skynet. Il s’agit majoritairement de modèles mathématiques de régression linéaire, qui permettent de prédire des occurrences en se basant sur de très grands ensembles de données.

On voit donc un seul et même processeur capable de réaliser des deepFake, vidéos plus vraies que nature se basant sur un modèle d’entrée pour les expressions du visage, et un autre pour réaliser l’image cible ; si le procédé n’est pas nouveau, sa démocratisation l’est : le prix d’un GPU d’entrée de gamme est de 1 000 €.

Construction d’un nouveau réel

Ce mouvement de construction d’un nouveau réel n’est néanmoins pas réduit à un téléphone mobile ou un casque de VR : de Red Dead Redemption et son écosystème plus vrai que nature à des égéries virtuelles interagissant avec des mannequins bien réels (dans la dernière publicité Calvin Klein), de l’intégration 3D dans les live de WeatherChannel pour figurer les effets d’un ouragan aux mannequins générés par ordinateur, de la fausse vidéo d’Obama aux avatars chinois de l’agence de presse chinoise Xinhua, de la production du prochain Roi Lion à l’évolution de la Royal Shakespeare Company, la représentation du réel n’est plus simplement sa captation, mais dorénavant son calcul.

Nous vivons l’écriture d’une nouvelle histoire, à mi-chemin entre science-fiction et réel, la puissance des processeurs permettant d’anticiper, de virtualiser, de communiquer de la plus simple des manières en se basant sur l’interface naturelle du monde, le monde lui-même.

« Nous vivons l’écriture d’une nouvelle histoire, à mi-chemin entre science-fiction et réel »

MagicLeap, en dévoilant son prototype Mica, représentation virtuelle d’une personne humaine, a introduit la convergence AR/AI : le prototype interagit avec l’utilisateur, que ce soit avec le langage corporel, le « eye tracking » ou les expressions faciales ; MICA est une IHM qui reproduit le comportement humain, afin de rendre les interactions totalement naturelles.

Les interactions entre les humains s’effectuent à différents niveaux : le texte seul via l’écriture, la voix (téléphone), le face-à-face. Pour chaque niveau, des paramètres sont nécessaires pour la compréhension : on emploie l’italique ou le gras, la MAJUSCULE fait l’objet d’un compromis de la nétiquette concernant sa hauteur (CRIER) ; les émoticônes et emojis ont fait leur apparition pour ajouter du contexte. La voix a fait l’objet de conventions, du chuchotement au cri ; le face à face fait intervenir le langage corporel, tels que les expressions du visage ou le langage des mains.

Dans la société du Metavers en construction, l’avatar faisant office d’IHM doit singer le plus précisément toutes les composantes de l’expression, afin de ne pas en dénaturer les subtilités, puisque le diable se cache dans les détails. Poker Face ! Et cette IHM dispose de nouvelles infrastructures, qui se retrouvent à égalité dans le palmarès StackOverflow des développeurs avec Node.js, TensorFlow ou encore React.

Ce n’est qu’une question de temps avant que Google, propriétaire de la première représentation de l’espace, Google Earth, n’intègre ses fichiers kml et kmz dans Google Earth VR. Déjà, il commercialise son API et adapte le jeu iconique Carmen Sandiego ; combien de temps donc encore pour que l’expérience immersive permette, non seulement de se rendre sur la 5^e avenue à New York, mais de visiter le dernier concept store de Nike et d’y faire ses courses ? Combien de temps pour assister à un concert privé de Childish Gambino, en 3D et en live, après sa première expérience immersive ? Combien de temps pour qu’un dispositif d’AR soit suffisamment adapté à l’utilisateur pour qu’il ne le porte en permanence, et se meuve dans son propre musée ? Combien de temps pour que Mica ne remplace Alexa ou Siri, et ne devienne le compagnon (ou l’avatar) de tout un chacun ?

 Lorsqu’on parle en Europe d’infrastructure souveraine, de contrôle des réseaux sociaux ou de « l’IA » produite par les GAFA, on oublie une chose essentielle : cette bataille est déjà perdue et Américains comme Chinois ont déjà un pied dans un nouveau territoire, celui de Ready Player One.

Et le champ des possibles extraordinaire qui s’ouvre à nous ne doit pas nous faire oublier que ce nouveau monde n’est pas un bien commun et que notre vie numérique, faite d’AR, de VR, d’IA et d’interfaces, sera définitivement au-delà de l’espace et du temps des nations, dont les règles ont près de 4 siècles. Si un âge des possibles se dessine sous nos yeux, c’est à nous de l’écrire.

 

Photo de Sebastian Voortman via Pexels