UE I9GL-C - Ingénierie des données

Ce cours vise à familiariser les étudiants avec avec  les outils et les pratiques liés à l'utilisation de DevOps dans le contexte de la gestion et de l'analyse des données. Les étudiants apprendront à appliquer les principes de DevOps pour créer des pipelines efficaces de collecte, de traitement, et d'analyse des données à grande échelle.

• Concepts et principes fondamentaux de DevOps
•  Conteneurs, Docker
•  Fondamentaux NoSQL - TP Redis utilisant Docker
•  Indexation, Clustering - TP MongoDB utilisant Docker
•  Cloud - TP BigQuery
•  Kubernetes
•  Batch processing - TP Airflow utilisant Kubernetes
•  Streaming processing - TP Kafka utilisant Kubernetes

Voir la page complète

1- Introduction à la problématique BigData
-Notion d'ordre de grandeur
-Enjeux scientifiques/sociétaux/économiques.
-Problèmes
2- Notion de base sur le fonctionnement d'un système distribué à grande échelle.
-Introduction à l'éco-système hadoop
-Notion élémentaire administration hadoop
3 Introduction sur les systèmes de fichiers distribués.
-HDFS : principe fonctionnement.
-Utilisation du client HDFS
-Introduction au framework JAVA de programmation pour la manipulation de HDFS
4 Introduction au paradigme de programmation Map/Reduce
-Principes élementaires
-Mise en place avec Hadoop/HDFS
-Introduction au framework Java de programmation MapReduce Hadoop2.
5 Introduction au design pattern Map/Reduce
-Filtration
-Summarization
-Organization
-Jointure
6 Introduction au BigTable (nosql)
-Démistification des BigTable
-Introduction au Big Table de Hadoop HBASE
-Présentation du framework de programmation Java pour HBASE

Voir la page complète