Techniques avancées d'inference statistique

ASI
Abstract

Résumé

Ce cours se concentre sur les principes de l'apprentissage à partir de données et de la quantification de l'incertitude dans le contexte de l'apprentissage automatique, en complétant et en enrichissant le cours « Apprentissage automatique et systèmes d'intelligence ». La présentation de la matière suit un fil conducteur basé sur l'approche de modélisation probabiliste des données, de sorte que de nombreux modèles/algorithmes d'apprentissage classiques peuvent être vus comme des cas particuliers de problèmes d'inférence pour des modèles probabilistes plus généraux.

Nous commencerons par établir des liens entre l'optimisation des pertes et l'inférence probabiliste (par exemple, l'estimation du maximum de vraisemblance, l'estimation du maximum a posteriori). Nous introduirons ensuite le concept d'inférence bayésienne et discuterons de la manière d'effectuer l'inférence dans des modèles complexes et difficiles à résoudre à l'aide de méthodes approximatives (par exemple, l'inférence variationnelle, la chaîne de Markov Monte Carlo, l'approximation de Laplace). Nous nous concentrerons ensuite sur la prédiction et l'évaluation des modèles prédictifs. Nous commencerons par discuter des modèles prédictifs simples (par exemple, la régression linéaire, la régression logistique), puis nous passerons à des modèles plus complexes (par exemple, les processus gaussiens, les réseaux neuronaux). Nous discuterons de tous ces modèles dans le contexte de l'inférence probabiliste, et nous mettrons en pratique les méthodes probabilistes introduites dans la première partie. Bien que le cours soit principalement axé sur l'apprentissage supervisé, nous examinerons également l'apprentissage non supervisé et les modèles génératifs probabilistes. Enfin, le cours sera complété par plusieurs sessions pratiques, où les étudiants pourront implémenter et expérimenter les méthodes discutées en classe (en utilisant Python).

Modalités pédagogiques : Cours magistraux et séances de travaux pratiques (de préférence un étudiant par groupe).

Règles du cours: La participation aux séances de travaux pratiques est obligatoire.

Bibliography

 

Bibliographie

  • Livre : BISHOP M. PatternRecognition and Machine Learning. Springer-Verlag, 2006, 768p.
  • Livre : MURPHY K. Probabilistic Machine Learning: An Introduction, 2023
  • Livre : MURPHY K. Probabilistic Machine Learning: Advanced Topics, 2023

Requirements

Prérequis

  • Théorie des probabilités et statistiques.
  • Algèbre linéaire et calcul.
  • Compétences de base en programmation (Python).
  • Connaissances de base en apprentissage automatique.

Description

Description

Le cours couvrira une sélection des sujets suivants :

Introduction

  •  Rappel sur l'algèbre linéaire et le calcul.
  • Aperçu de la théorie des probabilités

Inférence bayésienne

  • Définition de la vraisemblance, de l'antériorité et de la postériorité
  •  Estimation du maximum de vraisemblance
  •  Estimation a posteriori
  • Sélection du modèle

Inférence approximative :

  • Inférence variationnelle
  • Approche de Laplace
  • Chaîne de Markov Monte Carlo

Apprentissage supervisé :

  • Régression linéaire
  • Classification linéaire
  • Méthodes à noyau pour la régression et la classification non linéaires (processus gaussiens).
  • Réseaux neuronaux

Modèles génératifs :

  • Modèles de mélange gaussien
  • Autoencodeurs variationnels

 Modèles génératifs profonds avancésK-means et Kernel K_meansObjectifs d'apprentissage :

  • Identifier les éléments clés composant un modèle probabiliste donné
  • Reconnaître la pertinence de différents modèles probabilistes en raison d'un problème d'apprentissage automatique
  • Utiliser les techniques appropriées pour dériver des algorithmes probabilistiques d'apprentissage automatique
  • Développer des logiciels de preuve de concept pour établir des analyses de données à l'aide d'algorithmes probabilistes d'apprentissage automatique

Nb heures : 42.00, dont 4 séances de travaux pratiques (12 heures)

Evaluation :

  • Exercice évalué (25% de la note finale)
  • Examen final écrit (75% de la note finale)