Résumé
Ce cours se concentre sur les principes de l'apprentissage à partir de données et de la quantification de l'incertitude dans le contexte de l'apprentissage automatique, en complétant et en enrichissant le cours « Apprentissage automatique et systèmes d'intelligence ». La présentation de la matière suit un fil conducteur basé sur l'approche de modélisation probabiliste des données, de sorte que de nombreux modèles/algorithmes d'apprentissage classiques peuvent être vus comme des cas particuliers de problèmes d'inférence pour des modèles probabilistes plus généraux.
Nous commencerons par établir des liens entre l'optimisation des pertes et l'inférence probabiliste (par exemple, l'estimation du maximum de vraisemblance, l'estimation du maximum a posteriori). Nous introduirons ensuite le concept d'inférence bayésienne et discuterons de la manière d'effectuer l'inférence dans des modèles complexes et difficiles à résoudre à l'aide de méthodes approximatives (par exemple, l'inférence variationnelle, la chaîne de Markov Monte Carlo, l'approximation de Laplace). Nous nous concentrerons ensuite sur la prédiction et l'évaluation des modèles prédictifs. Nous commencerons par discuter des modèles prédictifs simples (par exemple, la régression linéaire, la régression logistique), puis nous passerons à des modèles plus complexes (par exemple, les processus gaussiens, les réseaux neuronaux). Nous discuterons de tous ces modèles dans le contexte de l'inférence probabiliste, et nous mettrons en pratique les méthodes probabilistes introduites dans la première partie. Bien que le cours soit principalement axé sur l'apprentissage supervisé, nous examinerons également l'apprentissage non supervisé et les modèles génératifs probabilistes. Enfin, le cours sera complété par plusieurs sessions pratiques, où les étudiants pourront implémenter et expérimenter les méthodes discutées en classe (en utilisant Python).
Modalités pédagogiques : Cours magistraux et séances de travaux pratiques (de préférence un étudiant par groupe).
Règles du cours: La participation aux séances de travaux pratiques est obligatoire.
Bibliographie
- Livre : BISHOP M. PatternRecognition and Machine Learning. Springer-Verlag, 2006, 768p.
- Livre : MURPHY K. Probabilistic Machine Learning: An Introduction, 2023
- Livre : MURPHY K. Probabilistic Machine Learning: Advanced Topics, 2023
Prérequis
- Théorie des probabilités et statistiques.
- Algèbre linéaire et calcul.
- Compétences de base en programmation (Python).
- Connaissances de base en apprentissage automatique.
Description
Le cours couvrira une sélection des sujets suivants :
Introduction
- Rappel sur l'algèbre linéaire et le calcul.
- Aperçu de la théorie des probabilités
Inférence bayésienne
- Définition de la vraisemblance, de l'antériorité et de la postériorité
- Estimation du maximum de vraisemblance
- Estimation a posteriori
- Sélection du modèle
Inférence approximative :
- Inférence variationnelle
- Approche de Laplace
- Chaîne de Markov Monte Carlo
Apprentissage supervisé :
- Régression linéaire
- Classification linéaire
- Méthodes à noyau pour la régression et la classification non linéaires (processus gaussiens).
- Réseaux neuronaux
Modèles génératifs :
- Modèles de mélange gaussien
- Autoencodeurs variationnels
Modèles génératifs profonds avancésK-means et Kernel K_meansObjectifs d'apprentissage :
- Identifier les éléments clés composant un modèle probabiliste donné
- Reconnaître la pertinence de différents modèles probabilistes en raison d'un problème d'apprentissage automatique
- Utiliser les techniques appropriées pour dériver des algorithmes probabilistiques d'apprentissage automatique
- Développer des logiciels de preuve de concept pour établir des analyses de données à l'aide d'algorithmes probabilistes d'apprentissage automatique
Nb heures : 42.00, dont 4 séances de travaux pratiques (12 heures)
Evaluation :
- Exercice évalué (25% de la note finale)
- Examen final écrit (75% de la note finale)