programmation pour la robotique, TP Policy Gradient/REINFORCE

Cet environnement permet de contrôler un vaisseau qui doit se poser, doucement, sur la plateforme indiquée par deux drapeaux.

Rappel: Un MDP est un tuple $(S,A,H,T,R,\gamma )$ avec

• $S$ l'ensemble des états
• $A$ l'ensemble des actions
• $H$ l'horizon
• $T$ la fonction de transition (aussi appelée dynamique)
• $R$ la fonction de récompense
• $\gamma$ la dévaluation

Dans notre cas, il y aura :

• $S$ un état de l'environnement est un vecteur de dimension 8: abscisse et ordonnée du module, sa vitesse (en $x$ et $y$), son angle, sa vitesse angulaire, et deux booléens, chacun indiquant si la patte correspondante est en contact avec le sol. On utilisera le tile coding pour encoder ces états (conjointement avec les actions)
• 4 actions: ne rien faire, allumer le moteur gauche, allumer le moteur central, allumer le moteur droit
• $H$ est considéré comme infini (en pratique le nombre d'actions est limité à 200)
• On suppose que la dynamique n'est pas connue (notre agent ne connaît pas la physique)
• La récompense est décrite ici.
• la dévaluation est arbitrairement mise à 0,99.

Le but du TP est de créer un agent pour cet environnement, et de lui faire apprendre un une politique optimale $\pi$ par REINFORCE.

1. Téléchargez le carnet ici
2. Ouvrez une fenêtre de votre navigateur sur colab
3. Chargez le carnet (File → Open Notebook …)
4. Lisez/évaluez/complétez le notebook
5. Sauvegardez le carnet, et téléchargez-le (File → Download .ipynb)
6. Connectez-vous à l'ENT, et à la page du cours de robotique
7. Soumettez votre carnet sur l'interface de rendu pour la semaine concernée