Programmation pour l'IA 2024-2025 Apprentis

Introduction et Processus de décision markoviens (partie 1)

• Introduction aux problèmes de décision pour la robotique
• Processus de décision markoviens (MDP)
  • le modèle agent-environnement
  • introduction aux MDP
  • politique de décision
  • gain, valeur d'état, valeur d'état-action

• Cours introduction à l'IA Berkeley MDP1 et MDP2
• Introduction to RL chapitres 3 et 4 (plein d'exemples, attention aux notations qui diffèrent un peu du cours)
• Cours de Pieter Abbeel transparents et vidéo (avec les idées de preuve de convergence)
• Cours de David Silver : transparents sur les MDP

Processus de décision markoviens (partie 2) + introduction Méthodes Monte Carlo et méthodes par différence temporelle

• Processus de décision markovien (MDP)
  • politique de décision
  • gain, valeur d'état, valeur d'état-action
  • politique optimale par itération des politiques
  • politique optimale par itération des valeurs

Prise en main python/pytorch/colab: lien vers l'énoncé

Comment aller chercher un frisbee sur un lac gelé? lien vers l'énoncé (1ere partie)

• Cours d'introduction à l'IA MDP1 et MDP2
• Introduction to RL chapitres 3 et 4 (plein d'exemples, attention aux notations qui diffèrent un peu du cours)
• Cours de Pieter Abbeel transparents et vidéo (avec les idées de preuve de convergence)
• Cours de David Silver : transparents sur les MDP et la programmation dynamique
• Pour les algorithmes itératifs et les preuves de convergence: transparents de Tom Mitchell

Méthodes Monte Carlo et méthodes par différence temporelle

• Processus de décision markovien (MDP) : rappel
  • méthodes de Monte-Carlo
  • méthodes par différence temporelle
  • apprentissage de la fonction Q avec Q-learning et SARSA

Comment aller chercher un frisbee sur un lac gelé? lien vers l'énoncé (2e partie)

• Introduction to RL chapitres 5 et 6 (exemples, et idées des preuves de convergence, beaucoup de variantes détaillées)
• Cours de Pieter Abbeel transparents (pages 1 à 17) et la partie correspondante de la vidéo
• Cours de David Silver : transparents sur la programmation dynamique

Différence temporelle et introduction Approximation par fonction et encodage des entrées

comment (encore) aller chercher un frisbee sur un lac gelé? lien vers l'énoncé

• OpenAI gym + colab
• Méthode Monte Carlo pour le lac gelé

Mountain Car et SARSA/Q-Learning tabulaire lien vers l'énoncé

• Introduction to RL chapitres 9 et 10
• Cours de Pieter Abbeel transparents (pages 1 à 11 pour des exemples de fonctions)

• extraction de features
• introduction au réseau de neurones

Mountain Car par fonction avec caractéristiques one-hot lien vers l'énoncé

• Introduction to RL chapitre 11
• Cours de Pieter Abbeel transparents (pages 1 à 11 pour des exemples de fonctions)

Apprentissage direct de la politique: Algorithme du gradient de la politique

apprentissage de la politique

Mountain Car par fonction avec Représentation en tuiles lien vers l'énoncé

Suite de l'apprentissage direct de la politique: Algorithme acteur/critique apprentissage de la politique

Lunar Lander lien vers l'énoncé