Как большие языковые модели генерируют текст

Часть курса Prompt Engineering

Вы уже знаете, что такое промпт и что такое ответ модели, и что один и тот же промпт каждый раз может вернуться другими словами. Этот урок показывает, что происходит по другую сторону промпта: как модель на самом деле превращает ваши слова в ответ. Если разобраться с механизмом сейчас, то пять принципов работы с промптами, которые идут следом, покажутся не правилами для заучивания, а прямыми следствиями устройства...

Прежде чем модель увидит ваш промпт, текст разрезается на небольшие куски, которые называются токенами: это части слов, то есть короткое слово целиком, кусок длинного слова или один знак препинания. Сама операция разрезания текста на такие куски называется токенизацией. ...