Approche pour l’apprentissage multimodal supervisé sans reconstruction de modalités manquantes

L’imagerie multimodale est outil intéressant en analyse clinique, qui fournit plusieurs informations complémentaires sur un organe ou un système, et peut permettre l’exploration simultanée de plusieurs biomarqueurs. Un élément essentiel pour le développement de méthodes d’apprentissage profond pour l’analyse de telles images est l’existence de bases de données d’images multimodales. Dans la recherche, celles-ci sont faciles à trouver. Cependant, dans la pratique clinique courante l’obtention de plusieurs modalit´es d’imagerie pour le même sujet est moins commun, et les études à nombres variables de modalités par patient sont courantes. Les bases de données incomplètes rendent l’apprentissage supervisé difficile puisque les algorithmes 

traditionnels ne peuvent être appliqués directement. Une stratégie populaire en recherche consiste à reconstruire les modalit´es manquantes à l’aide de modèles génératifs, avant d’entrainer un modèle d’apprentissage supervisé. Cependant cette approche peut avoir un impact important sur l’interprétabilité des modèles developpés et devrait donc être utilisée avec parcimonie. En alternative, nous proposons une méthode pour l’apprentissage multimodal supervisé avec modalités manquantes, sans l’usage de reconstructions. Nous nous appuyons sur les modèles à variables latentes pour formuler une stratégie qu’intègre les motifs d’absence de modalités en tant que condition dans sa fonction de coût. Cela assure la flexibilité de notre méthode, puisqu’il est ainsi possible d’entrainer ensemble nombreuses combinaisons de modalités, incluant les moins representées. Nous proposons ensuite un réseau neuronal invariant par permutation capable de supporter des entrées à dimensions variables. Finalement, nous évaluons notre méthode sur plusieurs bases de données et démontrons expérimentalement les avantages de notre approche.