Ecole d'ingénieur et centre de recherche en Sciences du numérique

Théorie de l'information

[InfoTheo]
T Enseignement Technique


Résumé

  • A partir de 1948, année de publication du papier fondamental de Shannon « A mathematical theory of communications » la théorie de l'information a joué un rôle crucial dans le développement des systèmes digitaux modernes d'aujourd'hui.
  • La théorie de l'information étudie les limites théoriques ultimes de la compression des données, du codage de source, du codage de canal pour atteindre la capacité maximum.
  • Ce cours présente la théorie fascinante de l'information au niveau introductif avec des perspectives diverses autour des théorèmes fondamentaux pour toujours en faire ressortir l'interpretation intuitive quelques soit votre parcours ou study track.
  • Les implications pratiques des résultats théoriques sont mises en évidence à travers plusieurs exemples.

Enseignement et méthodes d'apprentissage : Sessions orales, Exercices  et TPs  (groupes de 2 étudiants)

Règles du cours : venir aux TPs est obligatoire (25% de la note finale).

 

Bibliographie

 Le livre star du domaine par  Cover and Thomas "Elements of Information Theory" .

Préalable Requis

Connaissance de base en statistiques and probabilités.  MATLAB basique - Pas de programmation C.

Description

  • La boite à outil du théoricien de l'information ! Entropie, divergence et information mutuelle : définitions et relations élémentaires
  • Codage de source sans perte : le théorème de la compression de source, codage de Huffman, compression de données universelles, codage de Lempel-Ziv
  • Codage de canal : Atteindre la capacité d'un canal de communication
  • Le canal Gaussien : capacité du canal Gaussien avec bruit blanc, avec bruit coloré, le canal avec interférences entre symboles
  • Codage de source avec pertes : la fonction de distorsion, compression de sources Gaussiennes, la quantification vectorielle.
  • Sujets avancés en théorie de l'information des réseaux : le canal à accès multiples, le canal broadcast, le canal avec interférence.

Résultats d'apprentissage:

  • Notions fondamentales: Qu estce que l'information, comment la mesure t on? Comme la communique t on et comment la compresse t-on et quelles sont les limites ?  
  • Comment communique-t-on et compresse-t-on a plusieurs (dans un réseau)

Nb Heures: 42.00, 6hr exercices , 6hr TP (étalé sur plusieurs semaines).

Evaluation: TP (25%), Examen final (75%.) 2 heures, écrit - tous documents autorisés.

 

 

 

 

Nombre d'heures: 42.00
Nombre d'heures par semaine: 3.00