Théorie de l'information

Ce cours introduit les concepts fondamentaux de la théorie de l’information et leur application au codage des données pour les systèmes de communications. Le cours débute par une présentation du concept de mesure de l’information (entropie, information mutuelle) dans le cas de variables aléatoires discrètes puis continues. Le problème du codage source est ensuite abordé à travers l'encodage et le décodage, la notion d'optimalité et théorème du codage source de Shannon. Le design de codes optimaux par l'algorithme de Huffman vient conclure cette partie. Enfin, la dernière partie du cours traite succinctement de la problématique du codage canal, où sont abordés la capacité des canaux discrets sans mémoire et du canal gaussien, ainsi que le théorème du codage canal de Shannon. L’ensemble vise à fournir aux étudiants les bases théoriques nécessaires à l’analyse et à la conception de systèmes de communication efficaces. 

Plan

0/ Introduction

1/ Mesure de l’information 

     1.1/ Entropie 

     1.2/ Entropies jointe et conditionnelle

     1.3/ Divergence de Kullback-Leibler et information mutuelle

     1.4/ Extension au cas continu

2/ Codage source

     2.1/ Codes

     2.2/ Le théorème fondamental du codage source

     2.3/ Code de Huffman

3/ Codage canal

     3.1/ Capacité d’un canal discret sans mémoire

     3.2/ Théorème du codage canal

     3.3/ Le canal gaussien

ETE5-MATH1 Probabilités