Apprentissage Automatique, Modèles génératifs à base de diffusion

Type
Departement
Date
02-2222
Position
Poste de Doctorant - Offre de thèse H/F (Références : DS/PM/DIFF/022022)
Résumé

Le but de cette thèse est d'approfondir notre compréhension et de développer de nouvelles méthodologies pour les modèles génératifs probabilistes. Il existe de nombreux types de modèles génératifs, notamment les réseaux GAN, les auto-encodeurs variationnels et les modèles basés sur les flux. Récemment, de nouvelles méthodes basées sur des idées empruntées à la thermodynamique hors équilibre, à savoir les modèles probabilistes basés sur la diffusion, ont vu le jour : ces méthodes peuvent être étudiées sous différents angles, dont les processus de diffusion de Markov en temps discret, les équations différentielles stochastiques qui utilisent la fonction « score », ou plus généralement les méthodes de transport optimal et la résolution d'équations aux dérivées partielles de grande dimension.

 

Dans cette Thèse, nous visons à résoudre les difficultés exceptionnelles des modèles basés sur la diffusion, qui incluent l'efficacité de calcul pour l’entrainement et l'échantillonnage, ainsi que la qualité et la structure des échantillons générés, pour n'en nommer que quelques-uns. Un défi supplémentaire que nous considérons concerne la nature des données que nous visons à modéliser : nous visons à généraliser les modèles actuels à des espaces génériques non euclidiens. Si la plupart de la littérature de recherche se concentre sur les applications de vision par ordinateur, nous visons à aborder les données structurées, qui évoluent dans le temps, comme le trafic sur les réseaux informatiques.

Ce doctorat s'inscrit dans un projet plus large financé par Huawei Technologies, Paris. A ce titre, et en plus des apports théoriques et méthodologiques, nous envisageons d'appliquer les modèles étudiés dans ce travail à des domaines d'application incluant des tâches de détection d'anomalies (non supervisées). L'équipe comprend un chercheur senior, expérimenté en modélisation mathématique, et qui soutiendra le doctorat. De plus, plusieurs membres expérimentés du personnel de recherche de Huawei Paris sont impliqués dans le projet, contribuant à un environnement de travail passionnant.

Prérequis

  • Niveau académique/diplôme : Master ou équivalent en Informatique, Physique, Mathématiques ou équivalents
  • Domaine/spécialité : Apprentissage automatique, et applications
  • Technologies : PyTorch, JAX
  • Langages/systèmes : Python
  • Autres connaissances/spécialités : un appétit naturel pour les défis théoriques et mathématiques
  • Autres éléments importants :
    • Expérience de projet en ML et Deep Learning
    • Expérience avec la physique statistique
    • Expérience avec la simulation numérique d’équations différentielles stochastiques
    • Connaissances de géométrie différentielle

Dossier de candidature
Les candidatures doivent être accompagnées de :

  • Curriculum Vitae détaillé,
  • Liste des publications en précisant les trois publications les plus importantes,
  • Document de deux pages présentant les perspectives de recherches et d’enseignement du candidat,
  • Noms et adresses de trois références.

Le tout est à adresser à secretariat@eurecom.fr sous la référence DS/PM/DIFF/022022

Dates importantes
L’examen des candidatures se fera dès réception.

La date limite pour envoyer un dossier de candidature : ASAP
Les entrevues auront lieu au fur et à mesure de la réception de dossiers.
La date d’entrée : ASAP

Date d'embauche : Poste à pouvoir de suite
Durée du contrat : Durée de la thèse

More info