كيف تولّد نماذج اللغة الكبيرة النص

جزء من دورة Prompt Engineering

صرت تعرف الآن ما الموجّه وما الإكمال، وتعرف أن الموجّه الواحد قد يعود إليك بصياغة مختلفة في كل مرة. يريك هذا الدرس ما يجري على الجانب الآخر من الموجّه: كيف يحوّل النموذج كلماتك إلى ردّ. وحين تفهم الآلية من الآن، لن تبدو مبادئ الصياغة الخمسة التي تليه قواعد تُحفَظ، بل نتائج طبيعية لطريقة عمل الآلة.

قبل أن يرى النموذج موجّهك، يُقطَّع النص إلى قطع صغيرة تُسمّى الرموز، ومفردها رمز (token)، وهي أجزاء أصغر من الكلمة: كلمة قصيرة، أو جزء من كلمة أطول، أو علامة ترقيم واحدة. وتُسمّى عملية تقطيع النص إلى هذه القطع التقطيع إلى رموز. ...