Tâche 6 : PLATEFORME DE SYNTHESE SPATIALISEE TEMPS-REEL POUR LA REALITE AUGMENTEE

Responsable : S. Ystad (LMA) Participants : LMA, LNC, PSA

Objectif :

Le but de cette tâche est de réaliser une plateforme de synthèse sonore temps-réel conçue autour d'une architecture logicielle évolutive. Sa conception s'étendra sur la quasi-totalité de la durée du projet, sur la base des connaissances issues des Tâches 4 et 5 (modèles mathématiques, scénarii cognitifs, modèles de synthèse et contrôle haut niveau des sons). Cette plateforme logicielle sera au centre des différents champs disciplinaires et sera destinée aux applications de réalité augmentée. Cette tâche aboutira à la réalisation d’un synthétiseur spatialisé temps-réel permettant de générer des sources sonores diverses, de les contrôler via des paramètres haut-niveau et de les intégrer aux deux applications visées par ce projet :

Sonification des véhicules de demain (Tâche 2).
Les métaphores sonores comme outil d’aide à l’apprentissage (Tâche 3).

L'architecture de la plateforme de synthèse se décompose en quatre couches tel qu’illustré sur la figure ci après:

Bilan à T0 + 18 mois

Durant cette première période du projet, les avancements de la tâche 4 ont permis de mieux définir les unités de contrôle qui relient les paramètre bas-niveau au contrôle. Ainsi, 3 types de modules sont proposés, permettant un contrôle de l'objet, de l'action et et de paramètres bas-niveau (voir figure ci-dessus). Le contrôle de l'action permet des simulations de type frapper, frotter, gratter, rouler, rebondir, grincer…, et le contrôle de l'objet permet des simulations du matériau, de la taille et la forme de l'objet qui génère les sons. Le contrôle bas niveau permet d'agir directement sur des paramètres de synthèse tels que les fréquences, les amplitudes et les amortissements des composantes spectrales. Le moteur de synthèse qui est piloté par ces modules de contrôle est basé sur une approche soustractive de type source - résonance en accord avec les spécifications de la tâche 4. La source ("excitation", voir figure) peut être contrôlée par des paramètres liés à l'action ou par des paramètres bas niveau tandis que le résonateur ("filtrage", voir figure) peut être contrôlé par des paramètres liés à l'objet ou par des paramètres bas niveau. Le contrôle bas niveau permet d'agir directement sur des paramètres de synthèse tels que les fréquences, les amplitudes et les amortissements des composantes spectrales. Des textures sonores peuvent également être modifiés par tous les modules de contrôle.
En ce qui concerne les livrables, 2 outils de sonification ont été fourni aux tâches applicatives:

Concernant la sonification des véhicules de demain, un outil de transformations sonores a été développé. Cet outil permet de transformer des textures sonores à partir de 2 paramètres de contrôle, à savoir la vitesse et l'enfoncement de la pédale (voir Tâche 2).
Dans le cadre de l'apprentissage de l'écriture, un logiciel de sonification permettant la simulation du geste/action et de l'objet a été fourni. Le contrôle de ce logiciel se fait à partir de donnés de l'écriture telles que la vitesse instantanée, la pression et les pics de vitesse anormaux qui sont présent dans l'écriture (voir Tâche 3).