Tâche 5 : MODELISATION MATHEMATIQUE DES SIGNAUX SONORES

Responsable : B. Torrésani (LATP) - Participants : LATP, LMA

Sous-tâche 5.3 : Vers une modélisation dynamique.

Les théories des multiplicateurs et multiplicateurs réalloués ont été conçues pour la modélisation de transformations reliant un signal source et un signal cible. Elles sont donc en l'état totalement dédiées à un traitement hors ligne, et ne sont pas adaptées pour décrire et étudier des variations dynamiques des signaux sonores. Développer une approche similaire « en ligne » est un challenge particulièrement intéressant et important, mais extrêmement complexe.
Une approche possible est toutefois d'analyser un signal non stationnaire sous forme de succession de représentations temps-fréquence décalées dans le temps, auxquelles les techniques d'estimation de masque et de champs de vecteurs peuvent être appliquées. Sous des hypothèses de stationnarité locale (en d'autres termes, si les caractéristiques spectrales du signal étudié varient lentement dans le temps), on peut espérer obtenir ainsi des champs de vecteurs (et des masques), eux aussi lentement variables, et décrivant l'écart à la stationnarité. Les séquences de masques et de champs de vecteurs ainsi estimés pourront ensuite être exploités pour en extraire des notions dynamiques nécessaires à l’étape de création des métaphores sonores (Tâche 4) en vue des deux applications visées (Tâches 2 et 3). En particulier, les approches développées dans le cadre précédent peuvent probablement être adaptées à ce nouveau cadre. Par exemple, la complexité des champs de vecteurs et des masques estimés devrait fournir de précieuses indications sur la complexité des signaux eux-mêmes. On peut également imaginer effectuer des transformations sur les signaux, par modification de ces masques et champs de vecteurs, ce qui fournirait une approche totalement originale au problème de morphing sonore.
Il est bien clair que de telles approches ne peuvent être envisagées que si des algorithmes efficaces d'estimation sont disponibles. Le développement de tels algorithmes sera l'un des aspects fondamentaux du projet.