Capture de mouvements et usages

juin 30, 2017 par Juliette PAUGAM

Métiers Interactivité Veille

Programmes Interactivité

La captation de mouvements (Motion Capture ou Mocap en anglais) est le fait de capter les mouvements d’un élément réel (d’une personne, d’un animal ou d’un objet) et de les retranscrire dans un univers virtuel : les mouvements sont enregistrés ou restitués en temps réel vers d’autres systèmes. Il existe plusieurs techniques pour ça. Il y a la captation optique, la captation gyroscopique (moins précise) et la captation mécanique (très précise).

La captation de mouvements est de plus en plus utilisée dans divers domaines d’activité que nous vous présentons ici :

L’industrie du cinéma

Pôle Express :

La captation de mouvement ou motion capture est un procédé utilisé très fréquemment dans l’industrie du cinéma et du jeux vidéo. Le film le plus connu à avoir utilisé le motion capture est sûrement Avatar. Cependant, le premier film à utiliser entièrement la motion capture est Le Pôle Express de Robert Zemeckis en 2004. Imaginez la réaction d’un enfant de 10 ans en 2004, au cinéma devant ça.

https://www.youtube.com/watch?v=Cht63QybtiA

The Hobbit: Desolation of Smaug 2013

Un autre exemple d’utilisation de la captation de mouvement dans le cinéma est celui du film The Hobbit: Desolation of Smaug réalisé en 2013.Un autre exemple d’utilisation de la captation de mouvement dans le cinéma est celui du film The Hobbit: Desolation of Smaug réalisé en 2013.Lors de la réalisation du film, l’acteur Benedict Cumberbatch n’a pas seulement interprété la voix du dragon, mais a également interprété ces mouvements afin de mieux rentrer dans la peau du personnagePour ce faire, toute une série de trackers ont été placés sur son corps et sont visage. Ainsi, lors de la modélisation en 3D du dragon les mouvements captés on put être exploiter pour créer la gestuelle du dragon et en particulier pour les mouvements de son visage.

L’industrie du jeu vidéo :

Kevin Spacey :

Un passage important de la motion capture lie l’univers cinématographique avec celui du jeux vidéo. C’est dans le jeux Call Of Duty Advanced Warfare, 2014 que l’on retrouve Kevin Spacey entièrement reproduit grâce à la motion capture. Sa modélisation, extrêmement fidèle, a suscitée beaucoup de réactions, malgré le déclin croissant de la licence d’Activision.

Les fans d’House of Cards reconnaîtront, sûrement, les mimiques et la stature de Kevin Spacey. C’est ici que !’on peut voir la qualité de cette motion capture. Du moins, elle l’est dans le trailer, mais beaucoup moins dans le gameplay. Son utilisation, via la présence de l’image de l’acteur Kevin Spacey, a permis de renforcer l’attractivité du jeu et ainsi d’assurer son succès essentiel à Activision depuis l’échec de Call Of Duty Black Ops 2.

https://www.youtube.com/watch?v=VKYHuhg0l3I

Le domaine artistique

Le peintre, Carl Krull :

Carl Krull, artiste peintre danois, a décidé d’utiliser la réalité virtuelle pour peindre. En utilisant un HTC Vive, il est maintenant capable de dessiner en volume.

C’est par la captation de ses mouvements, avec la manette du Vive qu’il est aujourd’hui capable de créer des pièces aux dimensions impressionnantes.

Ce n’est pas seulement le fait de dessiner en 3 dimensions qui est intéressant, c’est aussi le fait que l’artiste s’immerge dans un univers nouveau. Comme il le dit, il a l’impression de laisser sa marque dans l’espace. En effet, l’isolation complète qu’offre la réalité virtuelle pousse l’artiste à se concentrer uniquement sur ce qu’il fait, dans un univers extrêmement individuel et solitaire. Il crée sa bulle et s’exprime dans celle-ci.

De plus, cet univers virtuel a une dimension et une échelle infinis. Carl Krull n’a pas de limite quant aux volumes de ses œuvres. Il peut s’exprimer avec son corps, pleinement, avec des gestes amples. Cette expérience le libère complètement du carcan du format papier.

Son style de dessin est, à la base, concentré sur des reliefs traduits par des trames. Il a donc une compréhension des volumes et des reliefs. C’est ce qui lui permet, finalement de créer de si belles pièces en utilisant la VR.

The Chemical Brothers & le studio The Mill :

Le dernier clip de The Chemical Brothers « Wide Open » utilise aussi la captation de mouvement. Le groupe emblématique de la musique électronique met en scène une danseuse dont les différents membres vont peu à peu se transformer en modélisation cellulaire transparente. C’est le studio américain The Mill qui a produit cette vidéo. L’actrice a entièrement été scannée puis modélisée en 3D. Ainsi, ils ont pu remplacer les parties de son corps par des modélisations tierces, en gardant les proportions et l’aspect de son corps d’origine. Ensuite, le local ou a été filmé la vidéo a été lui aussi scanné par Lidar, un système de mesure par réflexion de lumière. Ensuite, ils ont filmé exactement les mêmes scènes mais sans la danseuse pour reproduire le décor derrière les parties transparentes de la modélisation.

Ici, la captation de mouvement va être au service de l’intention de l’artiste. En effet, si The Mill a choisi de modéliser des parties du corps sous formes de cellules transparentes, c’est pour servir le propos de la chanson. Le titre « Wide Open » signifiant « grand ouvert » veut transmettre une idée, une intention, que les compositeurs ont mis en place. Le clip est donc la représentation visuelle de cette intention, et la captation de mouvements est un moyen de le réaliser. Ce n’est pas une fin en soi.

Les domaines marketing et communication

Method design :

L’agence Method design a été démarchée par la compagnie de production RSA film pour créer la vidéo de promotion de cette année de l’AICP (association de producteurs commerciaux indépendants). Le prix de l’AICP récompense la créativité mondiale sans production commerciale. Method Design voulait créer une œuvre de design divertissante qui mélangeait le côté innovant et le côté prolifique de l’entreprise.

La technique de la captation de mouvements leur a permis de mettre en valeur la créativité des sponsors de l’association, en la représentant par des avatars de danseurs illustrant la variété des effets visuels utilisés au cours de la production. Capture de mouvement, de l’animation procédurale et des simulations dynamiques ont été combinées pour créer un environnement de mouvements pop qui vont devenir une explosion colorée de plumes, de fourrure, de particules, et plus encore…

La vie quotidienne

Le Myo:

MYO se porte à lavant bras et interprète les mouvements de la main, des doigts et du bras en analysant l’activité électrique des muscles. Pas besoin d’un périphérique tiers ou d’une caméra ! Imaginez-vous dans Minority Report. Cet objet concurrence directement la Kinect de Microsoft ou le Leap Motion, boîtiers permettant la reconnaissance de mouvements. Vous pouvez vous le procurer pour une centaine d’euros.

Le bracelet utilise 8 capteurs EMG (Electromyogramme), capteurs qui ont pour but de détecter les signaux électriques liés aux activités physiques du muscle. Le Myo est positionné tout autour du bras afin de pouvoir capter de façon très précise les impulsions.

L’outil utilise une puce « 9-axis motion tracking » comprenant 3 axes gyroscopiques (pour mesurer les angles d’inclinaison de l’objet), 3 axes pour l’accéléromètre (qui comme son nom l’indique permet de mesurer l’accélération de l’outil dans l’espace (soit les axes X, Y et Z)) et enfin 3 axes pour le magnétomètre (pour mesurer l’intensité d’un champ magnétique).

En combinant ces deux technologies, les capteurs EMG et la puce « 9-axis motion tracking », il est possible de détecter des mouvements musculaires et des mouvements du bras afin de retransmettre un mouvement précis.

Le Myo a été conçu pour un usage tous public, comme la direction de drones, le contrôle à distance des lecteurs audio / vidéos etc. mais également pour simplifier des tâches quotidiennes, demandant des actions simples et répétitives.

L’entreprise a créé son propre « store » pour permettre aux utilisateurs de télécharger les applications compatibles développées. Les applications existantes dans le store sont réparties sous 5 catégories : Les objets connectés, les jeux, les outils de productivité, les outils multimédias, les outils liés à la présentation.

https://www.digitalcorner-wavestone.com/2016/10/controle-a-distance-outils-force-de-bras/

Le leap Motion :

Le leap motion est un dispositif composé de 3 capteurs LED infrarouges et de 2 caméras infrarouges. Il permet de détecter le mouvement des mains dans un environnement 3D et de le retranscrire sur un écran. En étant tout simplement branché pas câble USB à un ordinateur il permet de jouer à des jeux à l’aide d’interaction simple. C’est un dispositif intriguant qui suscite de l’intérêt, il pourrait être utilisé afin de développer de nouvelles interactions homme/machine plus particulièrement dans des situations où l’on ne peut pas interagir avec quelque chose de physique. Par exemple quand on fait la cuisine ou encore dans un bloc opératoire. Néanmoins, il présente encore des limites. Son utilisation fatigue rapidement le bras et l’on est tenté d’utiliser la souris pour certaines interactions. Enfin, sont prix d’environ 80 euros reste encore une barrière et justifie le fait que le leap motion ne soit pas très rependue. Le leap motion peut également être associé à un casque de réalité virtuelle et HP a récemment sorti un ordinateur portable ayant un dispositif de leap motion.

https://www.leapmotion.com/

Air-Bar 2015 :

La air-bar a été créé en 2015 par la société Neonode. Elle utilise la technologie zForce AIR technology qui est définie comme un écran de lumière invisible. Ce dispositif se fixe magnétiquement à la base de n’importe quels écrans d’ordinateur portable. Elle permet de rendre l’écran sur lequel elle est fixée tactile. En effet lorsque quelque chose traverse cet « écran de lumière » le champ de rayons est coupé et la air-bar renvoie à l’ordinateur les coordonnés qui correspondent à un point sur l’écran.

https://www.air.bar/

Le monde médical

Diverses méthodes existent déjà pour ce qui est de l’acquisition de modèles tridimensionnels des patients comme l’IRM, ou la TDM. A celles-ci peut être associée la motion capture (captation de mouvements), afin de faciliter les analyses des mouvements des os, et de l’état des articulations. C’est une technique qui permet d’animer” le clone virtuel du patient afin d’examiner ses mouvements. Moins connue du grand public, elle est pourtant de plus en plus utilisée en médecine.

Pour ce type de motion capture, des marqueurs sont placés sur le corps du patient. Les marqueurs sont simplement des boules dont la surface reflète la lumière. Plusieurs caméras sont disposées dans une salle de motion capture. Leur rôle est de transmettre une vidéo du mouvement du patient (sous plusieurs angles de vue) à un logiciel, qui localisera la position de chaque marqueur.

La motion capture optique permet de distinguer des mouvements au millimètre près. Cette technique est particulièrement efficace pour surveiller, par exemple, les mouvements des hanches dans le cas des prothèses de hanches. Cela permet alors de repérer, par exemple, les endroits de tension, de frottements ou autres complications. Ainsi, il serait possible d’éviter les problèmes dans l’avenir, tels que les dysfonctionnements de la prothèse. Cette nouvelle méthode est plus économique, mais aussi plus précise que les tests « traditionnels ».