इसे आजमाएं

जब अधिक context चीजों को बदतर बना देता है

AI का उपयोग करते समय एक प्राकृतिक प्रवृत्ति है इसे सब कुछ देना। पूरा दस्तावेज़ पेस्ट करें। हर संदेश शामिल करें। जितना संभव हो सके सभी context जोड़ें। अधिक जानकारी का मतलब बेहतर उत्तर है, है ना?

हमेशा नहीं। एक ऐसी घटना है जिसे परीक्षा की तैयारी करने वाला कोई भी सहज रूप से जानता है: एक समय में आप कितना कुछ अपने दिमाग में रख सकते हैं इसकी एक सीमा है। और बीच की चीजें सबसे पहले गायब हो जाती हैं।

इससे पहले कि हम बात करें कि यह AI मॉडल को कैसे प्रभावित करता है, आइए देखें कि यह आपको कैसे प्रभावित करता है।

मेमोरी टेस्ट

Memory Test

आप 15 शब्द देखेंगे, एक-एक करके। प्रत्येक लगभग 1. 5 सेकंड के लिए दिखाई देता है। जितने हो सके उतने याद रखने की कोशिश करें।

Show the Words

उन शब्दों को टाइप करें जो आपको याद हैं, अल्पविराम या स्पेस से अलग करके।

Check My Memory

आपने 15 में से 0 को याद किया

Hallucinated

Serial position — आपका recall पैटर्न

सबसे संभावित कम से कम संभावित सबसे संभावित

जो शब्द आपको याद हैं वे संभवतः सूची के शुरुआत और अंत में क्लस्टर होते हैं। बीच खो जाता है। यह primacy–recency effect है — और LLMs भी यही पूर्वाग्रह दिखाते हैं।

context window के शुरुआत और अंत में निर्देश का पालन किया जाता है। बीच दबा दिया जाता है। यह इसलिए है कि अधिक context ≠ बेहतर परिणाम — और क्यों "Lost in the Middle" (Liu et al. , 2023) ने पाया कि जब मुख्य तथ्य लंबे contexts के केंद्र में आते हैं तो सटीकता में 30%+ की गिरावट होती है।

Replay words (व्यायाम को हराता है)

U-Shaped Curve

जो आपने अभी अनुभव किया है उसका एक नाम है: serial position effect। मनोवैज्ञानिकों ने इसका एक सदी से अधिक समय तक अध्ययन किया है। सूची की शुरुआत में आइटम primacy से लाभान्वित होते हैं (उन्हें अधिक दोहराया जाता है), और अंत में आइटम recency से लाभान्वित होते हैं (वे अभी भी ताज़े हैं)। बीच को कोई भी लाभ नहीं मिलता।

सूची में स्थिति → Recall संभावना → Primacy बीच में खो गया Recency

दिलचस्प हिस्सा: बड़े भाषा मॉडल भी यही पैटर्न प्रदर्शित करते हैं। 2023 में, Stanford के शोधकर्ताओं ने परीक्षण किया कि जब आप एक लंबे context window के भीतर एक मुख्य तथ्य को विभिन्न स्थितियों में रखते हैं तो क्या होता है। सटीकता सबसे अधिक थी जब तथ्य बिल्कुल शुरुआत या अंत में दिखाई देता था — और जब यह बीच में दबा दिया जाता था तो 30% से अधिक गिरावट आई।

यह एक विचित्रता नहीं है। यह संरचनात्मक है। Transformer attention पैटर्न स्वाभाविक रूप से context window के किनारों को अधिक भारी वजन देते हैं।

Prompting के लिए इसका मतलब क्या है

यदि आप एक 20-पृष्ठ का दस्तावेज़ एक prompt में पेस्ट करते हैं और पृष्ठ 11 पर किसी चीज़ के बारे में एक प्रश्न पूछते हैं, तो मॉडल के लिए इसे मिस करने की संभावना पृष्ठ 1 या पृष्ठ 20 पर किसी चीज़ से अधिक है। इसका context को कैसे संरचित करें इसके लिए वास्तविक निहितार्थ हैं।

❌ खतरनाक पैटर्न

System prompt

Chat message 1

Chat message 2

.

⚠ मुख्य निर्देश यहाँ दबा हुआ है

.

Chat message 18

Latest user message

✓ सुरक्षित पैटर्न

System prompt

★ मुख्य निर्देश (शुरुआत में)

Chat message 1

Chat message 2

.

Chat message 18

Latest user message

★ मुख्य निर्देश (दोहराया गया)

व्यावहारिक सलाह सीधी है: अपने सबसे महत्वपूर्ण निर्देशों को context के शुरुआत और अंत में रखें। यदि कोई बाधा बिल्कुल पालन की जानी चाहिए, तो इसे system prompt के शुरुआत में बताएं और अंत के पास दोहराएं। मॉडल को इस बात का समान वजन देने के लिए भरोसा न करें कि बीच में सब कुछ है।

यह शुरुआत है, छत नहीं। जैसे-जैसे आप अधिक धाराप्रवाह होते हैं, आप context को संरचित करने के लिए तेजी से परिष्कृत तरीके खोजेंगे ताकि मॉडल विश्वसनीय रूप से समझे कि क्या महत्वपूर्ण है — window में जानकारी कहाँ बैठती है, क्या शामिल करें बनाम कटें, और महत्वपूर्ण निर्देशों को मृत क्षेत्र में स्लाइड होने से कैसे रखें। लक्ष्य हमेशा समान है: Claude के लिए स्पष्ट करें कि आपको वास्तव में क्या चाहिए।

बड़ी तस्वीर

Context degradation यह कारण है कि "बस इसे अधिक context दें" हमेशा उत्तर नहीं है। आप जो भी context जोड़ते हैं वह अन्य टुकड़ों को बीच में आगे धकेल देता है — attention मृत क्षेत्र। यह context engineering का मूल तनाव है: न केवल क्या शामिल करें, बल्कि इसे कहाँ रखें और क्या छोड़ें।

मुख्य बिंदु

अधिक context ≠ बेहतर परिणाम। मॉडल का ध्यान सीमित है। निर्दयता से क्यूरेट करें, रणनीतिक रूप से रखें, और जो महत्वपूर्ण है उसे दोहराएं।

आपके अपने मेमोरी टेस्ट ने आपको यह पहले ही बता दिया था। बीच के शब्द गायब हो गए। हर लंबी बातचीत, हर पेस्ट किए गए दस्तावेज़, हर context window के अंदर भी यही होता है जो किनारे तक भरा हुआ है। समाधान अधिक नहीं है — यह स्मार्ट है।