Quelle écriture sonore pour la Réalité Virtuelle ?

Réflexions audio basées sur les ateliers d’écriture et films en compétition du VR ARLES FESTIVAL 2018 article rédigé par Lidwine Hô

À l’occasion du VR Arles festival et en partenariat avec l’institut français, a lieu une semaine de réflexion sous la forme de divers ateliers d’écritures destinés à des créateurs de contenus en VR (réalité virtuelle). 

Ces ateliers sont animés par des artistes ou spécialistes de différents domaines, qui par leurs questions, en apportant leur expertise et en partageant leurs expériences, amènent les auteurs à reconstruire, remodeler, préciser leurs projets.

C’est dans ce cadre que j’ai eu la chance d’intervenir auprès de ces auteurs dont les projets originaux et variés m’ont permis également de me questionner sur la place accordée au son dans les créations en VR.

La particularité de la VR c’est (en autre) de proposer une image immersive au centre de laquelle se trouve l’utilisateur/spectateur. C’est également le fait de proposer un univers dans lequel le spectateur acteur va pouvoir évoluer.

En fonction des choix techniques au départ de la création et en fonction des besoins du scénario, l’utilisateur pourra ainsi se tourner dans un rayon pouvant aller jusqu’à 360° à l’horizontale et à la verticale (full sphere) ou se déplacer comme dans un jeu vidéo à 6 degrés de liberté (6DOF). Détails techniques dans un article précédent.

Le spectateur pourra également potentiellement interagir avec des objets, ses choix pourront avoir une incidence sur la durée de l’expérience et sur le contenu même de la narration sans pour autant que l’on puisse considérer que nous sommes devant un jeu vidéo. Nous sommes bien devant une œuvre audiovisuelle interactive d’un créateur qui porte un regard sur un sujet et souhaite nous le faire partager.

L’interaction devient alors une des clés de notre implication dans l’œuvre, un moyen d’accéder à notre attention, notre empathie ou notre engagement.

Le son prend une part très importante dans cet engagement même s’il reste souvent un élément inconscient de notre ressenti.

1_Le son comme facteur d’immersion et empreinte d’espace.

La VR propose la plupart du temps une image qui recouvre toute la sphère visuelle, mais l’utilisateur ne peut regarder que dans une direction à la fois. Le son immersif permet alors de suggérer le hors champs sonore, de faire vivre les lieux par l’ambiance, et par les sons, qui, en résonnant dans l’espace, en se répercutant aux parois, renseignent l’auditeur sur sa position dans le lieu et sur le lieu en lui même. 

Le son qui se propage devient ainsi une empreinte acoustique des lieux, qui évolue avec l’environnement, et donne ainsi des indices architecturaux : la matière dont sont faits les murs, les sols, le volume des pièces, et permet de projeter immédiatement l’utilisateur dans un lieu ou un autre.

Les ambiances sonores servent alors à marquer les changements de lieu, à faire une transition d’un espace à l’autre, le son donnera une indication de volume de l’environnement total avant même que l’utilisateur n’ait eu le temps d’explorer du regard toute sa sphère visuelle.

Il permet également, de diriger subtilement le regard dans la bonne direction, en attirant l’auditeur vers une partie de l’espace visuel qu’il ne regarde pas

2_Le son de la voix qui permet de donner corps aux fantômes

La plupart des créations VR en image réelle ou en partie réalistes se heurte encore au problème de la qualité de l’image. En effet, lorsque l’image doit être une sphère entourant le spectateur, qui plus est, si l’image est rendue en stéréoscopie la taille de l’image et sa définition lors de la captation doivent être de très grande qualité pour que le spectateur qui ne regardera que dans une direction à la fois, ait sans cesse en face des yeux une image de définition acceptable.

Il en résulte souvent soit une image de synthèse, soit une image réelle peu définie à laquelle on essaie d’appliquer des effets qui permettent de masquer ou de faire accepter les artefacts dus au manque de résolution de l’image. Ce qui conduit dans les 2 cas à des personnages peu réalistes dont le narrateur doit s’accommoder pour raconter son histoire.

Pour justifier ce manque de réalisme, la plupart des créations de fiction présentent donc des histoires dans lesquelles les personnages sont suggérés. Ils sont issus de scan 3D, de photogrammétrie, d’images réelles recouvertes de filaments ou bien, des personnages de synthèses. Etonnamment, malgré cette contrainte, les personnages sont parfois plus vivants que dans des films 2D à l’esthétique réaliste et classique, ils sont bien là en face de nous.

Ce qui donne corps à ces personnages autant dans Vestige que Dinner Party, (qui faisaient partie de la sélection présentée à Arles) c’est leur voix. La voix est traitée en total contrepoint de l’image.

Elle est traitée sans aucune pudeur, dans l’émotion, dans une extrême proximité, elle laisse entendre la détresse, l’amour, la douleur et la peur.

Dans Vestige on entend même jusqu’aux défauts des voix qui saturent les microphones avec un souffle trop intense.

La voix qui est produite dans le ventre et fait résonner les cordes vocales, ne se contente pas de résonner dans la pièce, elle est l’empreinte du corps dans lequel elle est produite. Les personnages fantomatiques ou technologiques prennent une dimension organique et charnelle grâce à leurs voix et cela fonctionne. Les yeux finissent par croire et l’imagination finit par reconstruire (comme on le fait lorsqu’on lit un livre), ce que la voix suggère, et ce que le corps ressent.

3_La voix intérieure, la voix projetée

Dans une création VR, on se retrouve au centre de l’action. On peut être un personnage qui prend part à l’histoire, mais on peut aussi être un simple spectateur d’une histoire qui se déroule, non pas sous nos yeux comme au cinéma, mais bien tout autour de nous !

Lorsque le créateur choisit de placer le spectateur dans la position d’un personnage qui prend part à l’histoire (et ceci qu’il soit actif ou passif) cela pose immédiatement la question de la voix du personnage (en plus de la question du corps : doit-on voir les mains, le corps, les pieds ?) quelle voix donne t-on au spectateur-acteur ? De cette question qui peut sembler anodine, découle cependant de nombreuses possibilités narratives : donner le sentiment à l’utilisateur qu’il vit la scène à la place d’une tierce personne dans le cas où il ne peut pas s’identifier à la voix ou alors, qu’il vit la scène lui même en tant que personne.

Dans le cas où le spectateur se trouve dans la peau d’un personnage qui est là mais ni visible, ni audible par les autres protagonistes ou visible mais sans interaction, cela peut également donner une impression étrange : voyeurisme, impuissance, sentiment que l’on est mort, dans le coma, ou transformé en fantôme.

Il arrive également que le personnage que l’on incarne ait des pensées qui sont caractérisées par une voix intérieure, qui sera entendue par le spectateur mais qui sera censée être inaudible par les autres protagonistes.

On se retrouve alors avec 3 niveaux de voix :

  • Les voix des autres personnages : qui sont spatialisées dans la pièce et qui prennent l’acoustique des lieux.
  • la voix du personnage incarné par le spectateur, qui est entendue par les autres personnages de l’histoire et qui elle aussi, résonne dans la pièce mais est entendue par l’utilisateur comme provenant de son propre corps.
  • la voix intérieure qui représente la pensée du personnage incarné par l’utilisateur et se trouve située dans sa tête.

Il arrive même qu’il y ait d’autres niveaux de voix, comme la voix du souvenir ou celle du rêve, ce qui complexifiera encore plus les degrés de lecture, mais qui peut porter un énorme potentiel narratif.

La complexité de ce type de configuration est en partie due au fait que l’on ne peut pas s’appuyer sur le visuel pour comprendre « qui parle » et « d’où il parle » car, à moins de se retrouver devant un miroir, on ne voit pas la personne que l’on incarne. Il est d’ailleurs assez délicat de voir une représentation de cette personne car cela bride le potentiel d’imagination et de projection dans un rôle même si cela peut fonctionner.

Lorsque l’on utilise ce type de narration, il est parfois nécessaire de prévoir une phase du récit dans laquelle ces codes sont explicités. Ce qui permet de clarifier la grammaire, et de différencier les 3 niveaux de voix afin que le spectateur comprenne les codes utilisés pour raconter l’histoire.

Il est possible, (pour pouvoir différencier clairement ce qui relève de la pensée et de la voix projetée) de traiter différemment cette voix. Plusieurs moyens peuvent être utilisés (en plus du jeu de comédien qui est primordial) : enregistrer la voix intérieure dans une acoustique non réverbérante en opposition à la voix projetée qui sera dans l’acoustique des lieux. Il est également possible de marquer une différence claire entre les 2 voix jouées par la même personne, en faisant ressortir les bruits du corps dans la voix projetée. Cette voix est censée être la voix charnelle, celle que les autres entendent, on peut donc amplifier les bruits de bouche, de respiration contrairement, à la voix intérieure qui n’est qu’une voix de l’esprit, une voix née dans la tête et pas dans le corps.

Le jeu de la comédienne ou du comédien dans ce cas là doit aller dans ce même sens. Il est primordial, lors de l’enregistrement de cette voix, de marquer une différence de ton et d’énergie qui soit en cohérence avec ce postulat : voix du corps/voix de l’esprit. Il est d’ailleurs ensuite permis de jouer avec ces codes pour introduire une confusion, une fois le postulat intégré par l’utilisateur.

4_L’analyse sonore inconsciente et la stimulation des autres sens

De nombreuses créations en VR utilisent la multisensorialité en proposant les expériences dans un lieu dédié enrichi d’accessoires.

Il est possible d’utiliser un dispositif de retour haptique, qui renverra une stimulation tactile à des moments choisis, soit pilotés par l’action de l’utilisateur, soit en fonction du déroulé de la narration. Dans une installation dédiée il est possible de mettre en place des éléments de décors qui pourront être touchés par l’utilisateur (mobilier, sol, murs, odeurs, etc.) La pièce TreeHugger propose bien plus à l’utilisateur qu’un calin à un immense sequoia. L’utilisateur devient la sève de l’arbre, après avoir caressé l’écorce et exploré l’orifice dans l’arbre, il entre petit à petit dans le tronc et fait petit à petit partie intégrante de l’arbre, il remonte comme la sève jusqu’au feuillage pour se retrouver à une hauteur vertigineuse.

dispositif pour « tree hugger » : manettes, casque VR et casque audio, sac à dos générateur de basses fréquences

trou dans l’arbre

 

 

 

 

 

 

 

 

 

Comment s’approcher de sensations tactiles lorsque l’on n’a pas l’opportunité de proposer une création dans un lieu dédié ?

devant le tronc d’arbre de « TreeHuger »

Notre perception est multisensorielle. Lorsque nous voyons, entendons, nous déplaçons, l’environnement sonore et visuel évolue de manière cohérente avec nos mouvements.

On peut même prédire que quelqu’un va nous toucher si on l’entend se rapprocher de nous de plus en plus. Notre cerveau anticipe alors ce que notre corps va ressentir.

Plus les stimulations sensorielles seront cohérentes et simultanées, plus notre corps sera enclin à considérer ce qui se passe comme un événement cohérent si ce n’est plausible.

On pourra alors tenter de faire ressentir la sensation de chaleur ou le souffle d’une brise seulement grâce au visuel et au sonore.

Le réalisme de l’expérience n’est possible que grâce à la cohérence et à la simultanéité des différentes sensations. Dans une création en VR audiovisuelle, 3 de nos sens sont constamment mis à contribution : la vue, l’ouïe et le « toucher » ou du moins une partie du toucher, car lorsque l’on est debout et que l’on peut marcher, nos pieds nous renvoient cette sensation très réelle que l’on marche, et le paysage visuel et sonore évolue en fonction de nos déplacements.

« Le son c’est 50% de l’expérience ! »

Il est bien entendu illusoire de tenter d’évaluer quel pourcentage de l’expérience utilisateur on doit au son ou à l’image, mais il est certain que le son joue un rôle primordial dans l’immersion du spectateur et touche une part de son inconscient, celle qui est indicible, qui peut le mettre mal à l’aise ou le détendre sans qu’il ne soit capable de mettre des mots sur les raisons qui l’amènent à ressentir ces émotions.

Il sera difficile pour lui de décrire la nature des sons qu’il a entendus, comme il est difficile de raconter les sons d’un rêve, alors même que la sensation restera.

La qualité de la création sonore en elle même est donc très importante mais le son est a prendre dans un tout, en interaction avec les autres stimulations sensorielles, dans l’instant où il est joué, mais aussi en rapport au spectateur, qui est lui même un sujet, qui a sa propre histoire, son vécu, sa culture et ses références et déjà… des sons dans la tête.

AES Convention : L’audio pour la Réalité Virtuelle et la Réalité Augmentée

 

La VR, un média à part entière ou simple enrichissement de la narration classique télévisuelle ?

Ce contenu a été publié dans audio, Audio, binaural, ftv, Réalité virtuelle, son 3D. Vous pouvez le mettre en favoris avec ce permalien.

2 réponses à Quelle écriture sonore pour la Réalité Virtuelle ?

  1. Benoit Bories dit :

    C’est marrant comment on présente des choses soit-disant nouvelles au niveau écriture sonore alors que ces moyens d’écriture sont déjà utilisés dans le langage de la création radiophonique. L’innovation dans les formes d’écriture ne dépend pas de dispositifs technologiques mais bien de comment nous manipulons (au sens de matière) les mediums.

    • Lidwine dit :

      @Benoit Bories, oui, ce que vous dites est très juste, il n’y a rien de nouveau en soit, c’est seulement que certaines sensations sont plus ou moins prégnantes en fonction du dispositif visuel ou non visuel, interactif ou non interactif. La plupart des créateurs de VR que je rencontre ne viennent pas du monde de la radio, ces concepts sont donc nouveaux pour certains ou pas appréhendés de manière consciente et bien entendu chacun a déjà sa culture propre qu’elle soit radiophonique, musicale ou cinématographique.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *