Como os Large Language Models geram texto

Parte do curso de Prompt Engineering

Você já sabe o que é um prompt e o que é uma completação, e que o mesmo prompt pode voltar com outra redação a cada envio. Esta lição mostra o que acontece do outro lado desse prompt: como o modelo de fato transforma as suas palavras em uma resposta. Entender o mecanismo agora vai fazer com que os cinco princípios de prompting, que vêm a seguir, pareçam menos regras para decorar e mais consequências de como a...

Antes de o modelo ver o seu prompt, o texto é picado em pequenos pedaços chamados tokens, que são fragmentos menores que uma palavra: uma palavra curta, um pedaço de uma palavra mais longa ou um único sinal de pontuação. O processo de cortar o texto nesses pedaços chama-se tokenização. ...