Ecole d'ingénieur et centre de recherche en Sciences du numérique

Fabio VALENTE

Fabio VALENTE
Fabio VALENTE
Eurecom - Communications Multimédia 
Doctorant ( 2002 - 2005)
Alumni EURECOM

Thèse

Méthode Variationnelles Bayesienne pour l'Indexation Audio

Responsable(s)

 

La sélection de modèles est un problème de première importance dans les applications d'apprentissage par machine. Dans de nombreuses applications sur données réelles avec des modèles de structure inconnue, on fait une hypothèse sur le modèle avant de commencer l'apprentissage proprement dit. Si le modèle choisi ne correspond pas à la structure des données expérimentales, l’efficacité de l'apprentissage est généralement sérieusement affectée. Il est donc nécessaire de mettre en oeuvre des techniques qui choisissent le modèle le mieux adapté aux données.
 
 
 
Le cadre probabiliste est très largement utilisé pour la sélection de modèles. On y considère les probabilités des différents modèles et on considère que le meilleur modèle est celui qui maximise la probabilité pour les données observées, c'est à dire plus formellement qui maximise P(m|D) pour un modèle m et un ensemble d'observations D. L'estimation des probabilités des modèles peut être paramétrique ou non; dans la plupart des problèmes sur des données réelles, l'hypothèse paramétrique est souvent préférée pour sa facilité de mise en oeuvre. Dans ce cas, l'estimation de la probabilité du modèle peut être obtenue en marginalisant tous les paramètres du modèle. En fonction de la complexité du modèle, l'intégration peut ne pas être explicite et l'on doit se résoudre à utiliser des méthodes approximatives. Les plus courantes ne conviennent parfois pas aux applications considérées et requièrent une mise au point heuristique pour être efficaces.
 
Dans cette thèse, nous considérons un nouveau type de méthodes approximatives appelées Apprentissage Variationnel (connu aussi comme Apprentissage d'ensemble) qui offre une solution sous forme explicite mais approximative du problème de l'intégration des paramètres. La clé des méthodes variationnelles est le remplacement des distributions réelles mais inconnues des paramètres par des distributions approximées (distributions variationnelles) qui permettent de traiter la solution analytiquement. Evidemment l'efficacité de cette approche dépend de la qualité de ces distributions approximées.
 
 
 
Dans cette thèse, nous étudions l'usage des techniques variationnelles dans une application d'indexation audio où la sélection des modèles est le problème principal.
 
Le problème de l'indexation audio consiste à regrouper les parties d'un enregistrement possédant des caractéristiques semblables. En particulier, nous considérons ici le cas où les données provenant d'un même locuteur doivent être regroupées. Le problème de la sélection du modèle est central dans de telles applications car le nombre de groupes (locuteurs) n'est généralement pas connu à priori et doit être estimé à partir des données. L'approche la plus courante de ce problème utilise une approximation très grossière de l'intégrale bayesienne pour la sélection du modèle qui n'est valable qu'asymptotiquement. Afin d'obtenir des résultats acceptables si le volume de données disponible est limité, on doit procéder à un ajustement heuristique du critère de sélection du modèle. Cela cause souvent des problèmes sérieux de mise au point qui affectent profondément le résultat final.
 
Les méthodes variationnelles n'exigent aucune mise au point heuristique et ne sont pas restreintes à de très grandes bases de données : pour cette raison, elles sont plus efficaces que le BIC.

Rechercher