Cómo los Large Language Models generan texto

Parte del curso de Prompt Engineering

Ya sabes qué son un prompt y una compleción, y que el mismo prompt puede volver redactado de otra manera cada vez. Esta lección te muestra qué ocurre al otro lado de ese prompt: cómo convierte el modelo tus palabras en una respuesta. Entender ahora el mecanismo hará que los cinco principios del prompting, que vienen a continuación, parezcan menos reglas que memorizar y más consecuencias de cómo funciona la máquina.

Antes de que el modelo vea tu prompt, el texto se trocea en fragmentos pequeños llamados tokens, que son piezas de subpalabra: una palabra corta, parte de una palabra larga o un solo signo de puntuación. Al proceso de cortar el texto en esos fragmentos se le llama tokenización. ...