Comment les grands modèles de langage génèrent du texte

Partie du cours Prompt Engineering

Vous savez désormais ce qu'est un prompt, ce qu'est une complétion, et qu'un même prompt peut revenir formulé autrement d'une fois sur l'autre. Cette leçon vous montre ce qui se passe de l'autre côté du prompt : comment le modèle transforme vraiment vos mots en réponse.

Avant que le modèle ne voie votre prompt, le texte est découpé en petits morceaux appelés tokens : des fragments de mots, comme un mot court, une partie d'un mot plus long ou un signe de ponctuation isolé. Ce découpage porte un nom, la tokenisation. ...