L’article de la communauté Hugging Face, signé par Karina Zadorozhny et publié le 19 janvier 2026, explique comment l’apprentissage par renforcement intervient dans le post-entraînement des grands modèles de langage. Il compare REINFORCE, Proximal Policy Optimization (PPO) et Group Relative Policy Optimization (GRPO), trois méthodes qui ne traitent pas de la même façon les récompenses, les mises à jour du modèle et les réponses générées.
Le rôle des réponses générées dans l’apprentissage
Dans le cadre présenté, l’état st représente le contexte disponible à un instant donné : l’invite originale de l’utilisateur, puis chaque jeton déjà produit. L’action at correspond au jeton suivant. La politique πθ est le LLM lui-même, sous la forme d’une distribution de probabilités sur son vocabulaire et conditionnée par cet état.
La récompense concerne généralement la trajectoire complète, donc la réponse terminée plutôt qu’un jeton pris isolément. Un modèle de récompense distinct apprend des préférences humaines ou d’autres signaux, puis renvoie le plus souvent un score scalaire. Avec l’apprentissage on-policy, le LLM produit ses propres données d’entraînement : les réponses sont évaluées, avant que leurs scores servent à mettre à jour les paramètres du modèle.
REINFORCE expose directement le problème de la variance
REINFORCE adopte l’approche la plus directe des trois. La mise à jour associée à chaque jeton est pondérée par la récompense totale obtenue sur l’ensemble de la trajectoire. Le lien entre la réponse terminée et la modification des paramètres reste donc simple à comprendre.
Cette simplicité a toutefois un coût important. L’article relève une variance élevée et une forte instabilité, deux limites qui compliquent le contrôle de l’entraînement par gradient de politique. Une récompense attribuée à toute une réponse peut ainsi rendre moins prévisible l’effet de chaque mise à jour.
PPO encadre les mises à jour au prix d’une configuration plus lourde
L’article présente PPO comme une méthode de gradient de politique introduite par OpenAI en 2017. Elle utilise l’estimation généralisée de l’avantage pour réduire la variance des estimations de gradient tout en conservant un faible biais. PPO ajoute aussi un critic, ou fonction de valeur, chargé d’estimer la valeur d’un état.
Les changements de politique sont limités par écrêtage ou par une pénalité adaptative fondée sur la divergence de Kullback-Leibler (KL). Dans PPO-CLIP, la valeur habituelle de ε est de 0,2, ce qui maintient le ratio de probabilités entre 0,8 et 1,2. Le déplacement de la politique est ainsi davantage borné pendant chaque mise à jour, mais cette protection s’accompagne de besoins en mémoire plus élevés.
L’entraînement peut nécessiter de charger simultanément la politique, un modèle de référence, un critic volumineux et souvent un modèle de récompense. Le choix de PPO ne porte donc pas seulement sur la stabilité des gradients : il engage aussi une infrastructure plus importante. La méthode fournit davantage de mécanismes pour gérer la variance et les changements de politique, au prix d’un ensemble de modèles associés plus lourd.
GRPO remplace le critic par une comparaison entre réponses
GRPO évite un critic distinct en prenant comme référence le score moyen d’un groupe de réponses. L’article indique qu’un groupe contient généralement 64 échantillons. Pour chaque réponse, GRPO soustrait le score moyen du groupe, puis divise le résultat par l’écart type du groupe afin de calculer l’avantage.
La fonction de perte comprend également une pénalité KL entre la politique actuelle et un modèle de référence gelé. Cette pénalité limite l’écart avec le modèle de référence, mais elle est distincte de la pénalité KL de région de confiance décrite pour PPO. GRPO supprime donc le critic sans supprimer toute contrainte : la méthode dépend toujours d’une référence gelée et de la comparaison de plusieurs réponses générées.
Karina Zadorozhny cite DeepSeek-R1 et DeepSeek-V3 parmi les modèles utilisant cette approche sans critic. Cet exemple place GRPO dans la discussion sur les méthodes visant à réduire l’infrastructure associée à PPO, même si son fonctionnement repose sur la production et l’évaluation d’un groupe de réponses.
Trois méthodes, trois compromis d’entraînement
La comparaison montre que l’apprentissage par renforcement ne désigne pas une recette unique pour le post-entraînement des LLM. REINFORCE reste exposé à une variance élevée. PPO ajoute un critic et des contrôles plus stricts sur les mises à jour de la politique. GRPO utilise une référence de groupe à la place du critic, tout en conservant une contrainte KL par rapport à une référence gelée.
Pour comprendre la terminologie de l’entraînement des LLM, cette distinction est concrète. La façon de calculer la récompense, le rôle du modèle de référence et la protection contre un éloignement excessif de la politique déterminent à la fois la manière dont le système apprend à partir de réponses évaluées et les ressources nécessaires.
L’article ne présente donc pas REINFORCE, PPO et GRPO comme des appellations interchangeables. Son point essentiel est plus précis : l’algorithme choisi influence simultanément le comportement de l’apprentissage et le coût opérationnel du post-entraînement.