Intelligence Artificielle pour l'embarqué

Responsables : Guillaume Bourmaud, ENSEIRB-MATMECA, Patrice Kadionik, ENSEIRB-MATMECA et  Frédéric Druillole, CENBG

Cours :

Première partie : IA classique (Guillaume Bourmaud) :

• Cours réseau de neurones à convolution :

       o Couche de convolution.

       o Réseau de neurones à convolution.

        o Architecture U-Net.

• Cours réseaux profonds et spécialisation :

        o Couche de "batch normalisation".

        o Connexion résiduelle.

        o  Architecture ResNet. Modèles de fondation.

        o Spécialisation d'un réseau de neurones (fine tuning).

Deuxième partie : IA embarquée sur circuit FPGA (Frédéric Druillole) :

• Les principes de l'IA pour l'embarqué :

        o Compréhension des enjeux.

        o Principes des calculs de l'inférence de modèles.

        o  Avantages et inconvénients des modèles ANN, CNN, RNN, autoencodeurs pour l'embarqué.

• Les méthodes d'optimisation :

        o Comprendre les enjeux.

        o Mesure des performances en terme de ressources et latence des modèles.

        o Optimisation des modèles pour réduire leur empreinte matérielle.

        o Outils d'optimisation selon la plateforme "AI edge" ou "spatial accelerator".

• Le matériel pour l'IA embarqué :

        o Microprocesseur et MMPA.

        o GPU.

        o FPGA.

        o Processeur neuromorphique.

• Les règles et les difficultés d'inférence :

        o MLOps.

        o Suivi des inférences.

Troisième partie : IA embarquée sur microcontrôleur (Patrice Kadionik) :

• Réflexions sur l'IA. Limites de l'IA classique.
• Conception d'un système embarqué : les 3 types de logique : logique câblée, logique programmée, logique par apprentissage.
• IA embarquée sur microcontrôleur : TinyML.
• Présentation et mise en oeuvre de LiteRT (ex Tensorflow Lite).
• Présentation et mise en oeuvre de LiteRT for Micro (ex Tensorflow Lite for Micro).

TP :

TP 1  IA classique :

• CNN Pytorch : implémentation d'un CNN pour de la reconnaissance de chiffres manuscrits.
• Spécialisation d'un réseau ResNet.

TP 2 IA embarquée sur circuit FPGA :

• Optimisation d'un modèle simple pour un circuit FPGA (circuit Xilinx Artyx).
• Test de l’inférence sur une carte Digilent Nexys A7 100T.

TP 3 IA embarquée sur microcontrôleur :

• Mise en oeuvre de LiteRT for Micro sur carte Arduino Nano 33 BLE Sense. Pilotage d'une sortie analogique par une IA en fonction de la valeur d'une entrée analogique de la carte Arduino.

Langage Python, bases de Machine Learning, bases de Deep Learning, langage VHDL, circuits FPGA, microcontrôleur, outil AMD Vivado, Linux, commandes Linux Python, C, C++, VHDL