Premier aperçu des technologies de performance interactive en ligne

L'épidémie du début de l'année 2020 s'est répandue dans le monde entier et a fortement affecté le secteur du spectacle. De nombreux musiciens et entreprises de divertissement ont commencé à explorer les concerts en ligne. Par rapport aux représentations hors ligne, les diffusions en direct en ligne présentent de nombreuses différences. La manière d'utiliser la technologie pour rapprocher le public et les artistes est devenue un nouveau sujet. Afin de renforcer la participation du public, les étudiants de l'INSA HdF ont développé de nouvelles idées. Plus de 20 étudiants en master dans les domaines de l'audio et de la vidéo ont formé un groupe appelé Tempos Event et ont décidé d'ajouter des éléments interactifs au concert en ligne. L'auteur était responsable des technologies interactives au sein de ce groupe.

1. Conception interactive

En tant que projet expérimental de spectacle interactif, la conception de ce projet n'était pas complexe. Concrètement, lorsque le spectateur qui regardait la diffusion en direct apparaissait à un emplacement précis de la caméra, cliquer sur une zone particulière de l'écran déclenchait une modification de l'effet d'arrière-plan ainsi que de l'éclairage et de la vidéo pendant la diffusion. Pour donner un exemple simple, le début officiel de la soirée après le programme d'échauffement dépendait du fait qu'une proportion suffisante d'utilisateurs interactifs clique sur une zone donnée de l'écran lors de la première scène interactive. Lorsque le nombre de clics atteignait un certain pourcentage, l'animation d'explosion et les effets lumineux rendus en temps réel à l'arrière-plan enflammaient la diffusion. D'autres formes d'interaction et d'autres résultats intervenaient ensuite.

2. Réalisation technique

La partie interactive reposait principalement sur trois éléments : le front-end, la couche intermédiaire et le back-end. Le front-end désignait la page de diffusion en ligne et les éléments interactifs de la page ; le back-end désignait les logiciels de rendu en temps réel et de lecture des contenus courants ; la couche intermédiaire faisait le lien entre le front-end et le back-end.

Lorsque le public cliquait ou survolait un élément interactif et que les conditions de déclenchement étaient remplies, une animation de confirmation apparaissait directement dans le navigateur. En parallèle, un enregistrement du déclenchement était ajouté à la base MySQL du site via Ajax. Les enregistrements de nombreux utilisateurs étaient traités par les programmes d'analyse de données du site afin de produire des statistiques pour chaque interaction. Le travail du site côté front-end s'arrêtait à ce stade ; les données statistiques étaient ensuite récupérées par la couche intermédiaire.

Le back-end de ce projet concernait principalement la réalisation de la vidéo et des différents effets audio et lumineux. La vidéo était divisée en deux catégories : le rendu en temps réel avec le logiciel vvvv et les contenus préparés à l'avance lus avec Millumin. Quatre projecteurs étaient utilisés sur site, projetant sur les trois façades du rideau et sur le décor blanc situé devant. La fonction de mapping intégrée à Millumin servait à modéliser et projeter les zones du rideau et du décor blanc. La vidéo rendue en temps réel par vvvv servait de source d'entrée à Millumin, remplaçant ainsi un système de contrôle matériel comme le Barco Event Master E2 et un système de lecture comme WatchOut.

vvvv est un système de rendu en temps réel open source qui construit un flux de travail de rendu graphique et offre aux artistes une manière intuitive de créer des programmes en temps réel. Il peut importer des sources externes, telles que des vidéos ou des séquences d'images, ou créer des images à l'aide de ses propres systèmes de particules, de gravité ou de fluides. Dans ce projet, la plupart des images rendues en temps réel à partir des données interactives et nécessaires à l'équipe créative utilisaient le système de particules intégré au logiciel.