इसे आजमाएं

100% व्याख्यायोग्य next-token जनरेटर

एक टेक्स्ट भेजें

बहुत समय पहले, मेरे दोस्त और मैं एक गेम खेलते थे जहां आप अपना फोन निकालते थे और केवल अनुशंसित अगले शब्दों का उपयोग करके किसी दोस्त को एक संदेश तैयार करते थे। शायद आपने भी यह किया है।

यहां एक सिम्युलेटर है जिसे कुछ सामग्री पर "प्रशिक्षित" किया गया था। खेलते हैं!

hey does anyone know how to fix the build

i think |

the we i

↻ शुरुआत से

हमने इसके बारे में एक "Me-bot" के रूप में बात की। हम जानते थे कि यह हमारे व्यक्तिगत उपयोग पैटर्न के आधार पर शब्दों की अनुशंसा कर रहा था, और हम अपनी व्यक्तिगत अनुशंसाओं में अपनी आवाजें देख सकते थे।

उस समय, हम इसे तकनीकी जादू के रूप में खारिज करने के लिए खुश थे। मुझे नहीं लगता कि हमें एहसास था कि एल्गोरिदम कितना सरल हो सकता है।

अगर आप मेरे साथ एक बनाना चाहते हैं तो पढ़ते रहें :)

अपने मॉडल को "प्रशिक्षित" करना

आइए कुछ संदेशों पर प्रशिक्षण दें। हमें केवल शब्दों के बीच कनेक्शन की गणना करनी है। आइए यह एक बार में एक संदेश करते हैं।

\+ संदेश 1 जोड़ें

ट्रांजिशन मैट्रिक्स

मैट्रिक्स बनाना शुरू करने के लिए ऊपर संदेश जोड़ें।

शब्दों के बीच कनेक्शन का यह पूर्ण नक्शा आवृत्ति तालिका कहलाता है। प्रत्येक पंक्ति को सामान्य करें और आपको अगले क्या आने की संभावना का वितरण मिलता है।

किसी दिए गए संदर्भ के आधार पर अगला शब्द चुनने की क्रिया को sampling कहा जाता है। हम Claude जैसे आधुनिक भाषा मॉडल के साथ इस प्रक्रिया के लिए भी यही शब्द का उपयोग करते हैं।

कुछ Sampling करें

5 टेक्स्ट के आधार पर एक ही मैट्रिक्स का उपयोग करके, हमारे गेम में एक अधिक सूचित खेल खेलें। हम आपको संभावनाएं दिखाएंगे।

↻ शुरुआत से

हाइलाइट की गई पंक्ति आपका वर्तमान संदर्भ है। जारी रखने के लिए उपलब्ध विकल्पों से एक शब्द चुनें।

इसे बड़ा करें

पांच संदेशों ने हमें एक छोटी मैट्रिक्स और कुछ भविष्यवाणियां दीं। अधिक डेटा के साथ क्या होता है?

\+ 1 संदेश \+ 10 \+ 50 सभी 222

5 संदेश

17 अद्वितीय शब्द

13 संदर्भ

24 ट्रांजिशन

2 अधिकतम विकल्प

के बाद :

नॉब्स

जब आप sampling कर रहे थे, तो आप संभावनाएं देख सकते थे, लेकिन आपने यह भी अपनी प्रवृत्ति का उपयोग किया कि कौन से शब्द "सही लगते हैं"।

अगर आपको अपनी प्रवृत्ति का उपयोग करने के बजाय उन विकल्पों को बनाने के लिए कोड लिखना पड़ता, तो आपको क्या एन्कोडेड नियम सबसे अच्छा परिणाम देगा?

हमेशा सबसे अधिक संभावना वाला शब्द चुनें संभावनाओं के अनुसार अर्ध-यादृच्छिक रूप से चुनें संभावनाओं के अनुसार चुनें, लेकिन सबसे संभावित विकल्पों को भी बढ़ावा दें एक निश्चित संभावना सीमा से नीचे कुछ भी अनदेखा करें केवल शीर्ष N विकल्पों पर विचार करें Goblin mode — संभावनाओं को अनदेखा करें और कुछ यादृच्छिक चुनें

मुझे नॉब्स दिखाएं

बहुत अच्छा। नीचे दिए गए नॉब्स के साथ खेलें यह देखने के लिए कि sampling पैरामीटर भाषा मॉडल की पसंद को कैसे प्रभावित करते हैं। फिर देखें कि आपकी अंतर्ज्ञान कैसे मैप किए गए।

डेवलपर्स temperature और tail trimming जैसे पैरामीटर का उपयोग करते हैं संभावनाएं उत्पन्न करने के बाद sampling में सुधार करने के लिए।

"think" के बाद:

Temperature 1. 0

केंद्रितयादृच्छिक

वितरण से वफादारी से sampling करना।

Tail trimming

sampling से पहले असंभावित शब्दों को पूरी तरह हटा दें।

कोई नहीं Top-k Top-p

शीर्ष शब्द 3

केवल 3 सबसे संभावित शब्द बचते हैं।

संभावना द्रव्यमान 0. 9

सबसे छोटे शब्दों का सेट रखें जिनकी संभावनाएं 90% तक जोड़ी जाती हैं।

Top-k के विपरीत, यह आत्मविश्वास के अनुकूल है — जब मॉडल निश्चित होता है, तो कम शब्द बचते हैं। जब अनिश्चित होता है, तो अधिक होते हैं।

Generate reset

अगर आपने पहले एक विकल्प बनाया था, तो आपने सहज रूप से इन दृष्टिकोणों में से एक को चुना।

मेकी अंतर्ज्ञान इन पैरामीटर्स से कैसे मैप किया गया?

पुल

आपने जो sampling रणनीतियां अभी-अभी उपयोग की हैं, वे कमोबेश Claude को पास किए जाने वाली sampling बाधाओं के समान हैं। LLM के लिए, कुछ चीजें अलग हैं।

Markov chain

LLM

1 संदर्भ पढ़ें

अंतिम शब्द: "think"

1 संदर्भ पढ़ें

अब तक की पूरी बातचीत

2 वितरण की गणना करें

एक तालिका में एक पंक्ति देखें

2 वितरण की गणना करें

अरबों पैरामीटर के माध्यम से आगे पास — attention, embeddings, feedforward layers, residual connections, layer norms...

3 अगला token नमूना

we 32% the 16% i 11%

3 अगला token नमूना

समान प्रक्रिया

we 32% the 16% i 11%

Markov तालिका lookup एक वास्तव में सरल और व्याख्यायोग्य ऑपरेशन है। एक तंत्रिका नेटवर्क के माध्यम से एक आगे पास काफी अधिक जटिल है। लेकिन किसी भी मामले में, आउटपुट समान है: संभावित अगले शब्दों या tokens का एक संभावना वितरण।

जबकि sampling समान है, प्रशिक्षण मौलिक रूप से अलग है। पहले से घातीय दीवार (शब्दावली^N पंक्तियां) लागू नहीं होती है। LLM शब्दों को तालिका में रखने की व्याख्यायोग्यता को बहुत अधिक संदर्भ और बहुत अधिक क्षमताओं के लिए व्यापार करते हैं।

100 साल पुरानी तकनीक

_"क्या यह असली तकनीक है? " बहुत अच्छा सवाल, पाठक।_

Markov ने 1906 में इस विचार को प्रकाशित किया। एक सदी बाद 2010 में, n-gram मॉडल जैसे यह आपके फोन पर अगले शब्द की भविष्यवाणी को शक्ति दे रहे थे (SwiftKey, फिर Apple का QuickType)। लगभग 2015 में, तंत्रिका नेटवर्क — पहले RNN, फिर 2017 में transformers — तालिका lookup दृष्टिकोण को एक सीखे हुए फ़ंक्शन से बदलना शुरू किया, और बाकी है... खैर, यह वह है जिस पर हम अभी काम कर रहे हैं।