Large Language Models टेक्स्ट कैसे बनाते हैं

Prompt Engineering कोर्स का हिस्सा

अब आप जानते हैं कि प्रॉम्प्ट और कंप्लीशन क्या होते हैं, और यह भी कि एक ही प्रॉम्प्ट हर बार अलग शब्दों में लौट सकता है। यह पाठ दिखाता है कि उस प्रॉम्प्ट के दूसरी ओर होता क्या है: मॉडल आपके शब्दों को जवाब में बदलता असल में कैसे है। यह तंत्र अभी समझ लेने पर, आगे आने वाले प्रॉम्प्टिंग के पाँच सिद्धांत रटने वाले नियम कम और मशीन के काम करने के ढंग का सीधा नतीजा ज़्यादा लगेंगे।

मॉडल के आपका प्रॉम्प्ट देखने से पहले ही टेक्स्ट छोटे टुकड़ों में काट दिया जाता है, जिन्हें टोकन कहते हैं। ये शब्द से छोटे टुकड़े होते हैं, जैसे कोई छोटा शब्द, किसी लंबे शब्द का हिस्सा, या विराम चिह्न का अकेला निशान। टेक्स्ट को इन टुकड़ों में काटने की प्रक्रिया टोकनाइज़ेशन कहलाती है। ...