Théorie de l'information

Ce cours fournit les principes fondamentaux permettant de comprendre les notions de quantification de l'information et de fiabilité des informations à communiquer. A partir de la définition de l'entropie, la redondance d'une source et sa pertinence à travers le théorème de codage de source sont définies. Nous concluons ce cours avec l'étude du théorème de codage dans le cas de la transmission à travers un canal bruité.

MA105 : Probabilités TS108 : Processus aléatoires

* ESTIMATION QUANTITATIVE DE L'INFORMATION
- Etude des sources: Entropie,entropie mutuelle et conditionnée,
- Information mutuelle
- Divergence de Kullback-Leibler
- Cas des sources ergodiques et markoviennes
* CODAGE ENTROPIQUE
- Redondance des symboles et des messages
- Longueur moyenne d'un code, longueur optimale
- Code de Huffman
- Sources étendues

Traitement du signal et de l'image

Polycopiés de cours et de TD