مدل‌های زبانی بزرگ چطور متن تولید می‌کنند

بخشی از دوره Prompt Engineering

حالا می‌دانید پرامپت چیست و پاسخی که مدل در برابرش می‌سازد چیست، و اینکه یک پرامپت یکسان می‌تواند هر بار با عبارت‌بندی دیگری برگردد. این درس نشان می‌دهد آن سوی پرامپت چه می‌گذرد: مدل واقعاً چطور کلمات شما را به یک پاسخ تبدیل می‌کند. اگر همین حالا سازوکارش را بفهمید، پنج اصل نوشتن پرامپت که درس بعدی است دیگر شبیه قاعده‌هایی برای حفظ‌کردن نیست، بلکه نتیجه طبیعی طرز کار این ماشین است.

پیش از آنکه مدل پرامپت شما را ببیند، متن به تکه‌های کوچکی خرد می‌شود که به آن‌ها توکن می‌گویند: تکه‌هایی کوچک‌تر از کلمه، مثل یک واژه کوتاه، بخشی از واژه‌ای بلندتر، یا یک علامت نگارشی تنها. به عمل خرد کردن متن به این تکه‌ها توکن‌سازی می‌گویند. ...