Réalité augmentée et décors virtuels à France Télévisions

Les antennes de France Télévisions enrichissent aujourd’hui leurs programmes en direct de Réalité Augmentée, qu’il s’agisse d’émissions de sports ou d’information (JT de France 2, soirées électorales, Envoyé Spécial).

La Réalité Augmentée consiste à superposer une image d’origine numérique (photo ou images animées, infographie, titrage) à une image réelle. Le principe n’est pas nouveau, mais ce qui est remarquable aujourd’hui, c’est de pouvoir combiner ces images en temps réel avec une caméra en mouvement. Les scènes en décors virtuels font appel à des technologies similaires mais il s’agit là de faire évoluer des personnages réels dans un environnement totalement ou partiellement recréé en synthèse.

Ces projets sont conduits par les équipes du siège en coordination avec .signature, l’atelier vidéographique de Nancy (filière production).

Un exemple simple : le titrage dynamique d’Envoyé Spécial

 

 

Qui dit mouvement de caméra dit tracking. Le tracking représente les informations de position de la caméra dans l’espace (x, y, z) mais aussi la focale. Ces données sont nécessaires au système RA pour que l’emplacement de l’objet qui est rajouté dans l’image soit cohérent quelque soit la position ou le mouvement de la caméra.

Dans ce cas précis d’Envoyé Spécial, le virtuel est utilisé pour afficher des éléments de texte sur une partie du décor (l’arrondi de la table). Pour ce faire, le décor réel est modélisé afin que les éléments virtuels puissent être correctement placés. Ce positionnement pourrait être réalisé par une incrustation classique si la caméra était fixe, mais la caméra est sur une grue ! Pour recalculer en temps réel l’ajustement de l’élément graphique, la position de la caméra est mesurée précisément. Sur la grue sont installés des boitiers mécaniques qui par systèmes de roues crantées donnent une information de déplacement. Ainsi, on peut avoir en temps réel la position x, y, z de la caméra.

Il existe aussi des capteurs optiques (même principe que le mètre laser) mais on considère que le système mécanique est plus précis.

La grue équipée des capteurs de position est louée à la société Remote Concept qui se charge de la mise en place et le calibrage (opération qui nécessite environ 1h30 assurée par deux techniciens qui seront présents pendant toute la durée du tournage).

Les informations de position sont envoyées par chaque capteur à une centrale qui calcule un point x,y,z.

Les informations de tracking sont ensuite envoyées via une liaison Ethernet au système Zero Density exploité par la société belge Dreamwall. Zero Density, société turque est un acteur récent sur le marché qui propose un outil basé sur Unreal Engine, le moteur de jeu vidéo développé par Epic Games. Cela lui confère une excellente puissance de calcul (GPU).

Zero Density récupère le signal de la caméra via une carte graphique NVIDIA 1080 Titan après conversion au moyen d’une carte AJA d’une part et les informations de position de la caméra via une liaison Ethernet d’autre part. À cela peuvent s’ajouter des sources vidéo. Le système intègre au besoin des fichiers images fixes traditionnels .jpeg, .png, etc.

Chaque élément de réalité augmentée sera assimilé à un objet ayant une position sur le plateau. Dans ce cas particulier, l’objet représente une plaque transparente qui prend la forme du pupitre sur laquelle apparait un texte.

Le logiciel calcule en temps réel ce qui induit un retard de quelques images, les autres caméras et le son sont donc retardés d’autant pour que le tout soit correctement synchrone.

Voilà donc pour le principe mais les possibilités offertes par le système ne s’arrêtent pas là. C’est ce que nous allons voir dans le chapitre suivant avec un produit concurrent, beaucoup plus connu car plus ancien : Maestro que nous continuons à appeler ORAD, le nom qu’il portait avant d’être racheté par AVID.

 

Le JT de 20h de France 2

Le générique

Selon un principe identique à celui expliqué plus haut, ORAD se charge d’incruster le logo « 20 heures » tous les soirs à l’ouverture du journal.

 

Le décor virtuel

Régulièrement, le journal propose une séquence en direct en décor virtuel. Celle-ci a été diffusée le 12 décembre 2017 :

La base du décor virtuel est le fameux fond vert, que nous utilisons depuis quelques années notamment pour les bulletins météo. À la différence de la météo, le fond vert ne sera pas remplacé par une carte de France mais par un décor conçu en images de synthèse en 3D et la séquence sera animée par des mouvements de caméra. Et c’est l’asservissement d’ORAD sur le tracking de la grue qui rend cela possible.

Donc sur le plateau, toujours une caméra sur grue trackée (qui est sur le plateau en permanence), un fond vert :

Un opérateur dirige la grue sur le plateau, un autre a accès à tous les mouvements de la caméra grâce à un joystick et à la focale au moyen d’une poignée.

Au préalable, le décor (backround) qui viendra se substituer au fond vert a été composé sur 4Designer, logiciel de création de scènes 2D ou 3D dédié et fourni par ORAD. Cette forêt tropicale a été composée d’objets 3D extraits de librairies et a nécessité deux jours de travail.

On pourra selon une logique de calques faire apparaitre/disparaitre tel ou tel élément, dans ce cas précis, le palmier apparait puis meurt, les vignettes tronçonneuse et route, etc. ORAD propose un logiciel de diffusion, 3Dplay, qui permet de créer des boutons pour chacune des commandes que l’on souhaite effectuer. L’opérateur en régie les actionnera en fonction du commentaire du ou de la journaliste.

Pour permettre la prise de vue en contre plongée, l’image du plateau transmise à ORAD est modifiée : en effet il faut impérativement masquer les projecteurs au dessus du cyclo (fond vert) et pour cela pas d’autre choix que de mettre un masque vert virtuel généré par ORAD et tracké, pour que l’incrustation du décor soit totale.

À la différence de Zero Density, ORAD ne ne prend pas en charge la découpe qui sera donc effectuée par une machine externe (keyer), ce qui réduit le temps de traitement.

L’habillage du plateau

Une autre utilisation d’ORAD : Les différents écrans qui sont présents sur le plateau du 20h sont de différentes tailles mais jamais au standard 16/9. ORAD peut gérer n’importe quel format d’image et mieux encore, il suffit de lui procurer une image unique comme ci-dessous pour qu’il adresse automatiquement tous les écrans :

Bonus

  • Et pour finir, une réalisation dans les conditions du direct faite au moment des dernières présidentielles. L’atelier vidéographique de Nancy a recréé le bureau présidentiel de l’Élysée en synthèse. Dreamwall s’est chargé de l’intégration avec Zero Density. On a utilisé la même grue qui sert tous les jours pour le journal (plateau C) avec le même fond vert.

 

  • Retrouvez d’autres réalisations en vous rendant sur le portfolio de .signature (Atelier vidéographique de Nancy)

 

Merci à Estelle Laurent, Guillaume Lenel, Luc Munier, Sylvie Guyonnet, Jean-Philippe Lançon, Arnaud Vincenti, Victor Blanco, Lucas Bastian, Nicolas Chateauneuf, Simon Deramaix, Bruno Mistretta
Ce contenu a été publié dans Technologies. Vous pouvez le mettre en favoris avec ce permalien.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *