Analyse des données et Théorie de l'information (au choix)

Objectifs :
Acquisition des concepts et des outils de bases pour le traitement de données :
- Données quantitatives (numériques) : Analyse en Composantes Principales (ACP)
- Données qualitatives (catégories) : Analyse Factorielle des Correspondances (AFC)
- Introduction à l'apprentissage automatique: apprentissage non supervisé (clustering) et supervisé (classification, régression)

Compétences:
- Connaître les principe de base du traitement de données et de l'apprentissage automatique (Quiz)
- Savoir implémenter une méthode d'analyse de donnée simple (TP)
- Savoir analyser les résultats d'une méthode d'analyse appliquée à une base de données (Projet)

Voir la page complète

Définitions et propriétés élémentaires de quantité d'information apportée par la réalisation d'un événementet l'entropie (au sens de Shannon) d'une v.a. (variable aléatoire) simple entropie conditionnelle d'une v.a., information mutuelle de deux v.a.
Théorie de codage, déchiffrabilité et ambiguïté, spontanéité de codes, Algorithme de Sardinas et Patterson, condition nécessaire et suffisante de Kraft-MCMillan pour l'existence d'un code déchiffrable avec les mots de longueurs données
Optimalité de codage (de v.a.), liens entre l'entropie d'une v.a. et la longueur moyenne des mots de code associé (théorèmes de Shannon), Algorithme de Huffman
Transmission d'information par les canaux bruités sans mémoire, quelques canaux importants, capacité d'un canal, calcul de capacité dans les cas simples, problème de décodage, schéma de décodage de borneuniforme d'erreur, théorème fondamental de Shannon sur la possibilité d'une transmission correcte avecprobabilité arbitrairement grande et de taux inférieur à la capacité (sans démonstration)

Voir la page complète