Gesproken samenvatting — druk op afspelen om mee te lezen: de gesproken regel blijft bovenaan.
Wanneer meer context dingen erger maakt
Een natuurlijk instinct bij het gebruik van AI is om alles te geven. Plak het hele document in. Voeg elk bericht toe. Voeg alle context toe die je kunt vinden. Meer informatie betekent betere antwoorden, toch?
Niet altijd. Er is een fenomeen dat iedereen die voor een examen heeft gestudeerd intuïtief kent: er is een limiet aan hoeveel je tegelijk in je hoofd kunt houden. En de dingen in het midden verdwijnen het eerst.
Voordat we bespreken hoe dit AI-modellen beïnvloedt, kijken we hoe het jou beïnvloedt.
De Geheugentest
Geheugentest
Je ziet 15 woorden, één tegelijk. Elk verschijnt ongeveer 1,5 seconden. Probeer zoveel mogelijk te onthouden.
Toon de woorden
Typ de woorden die je onthoudt, gescheiden door komma's of spaties.
Controleer mijn geheugen
Je hebt 0 van 15 onthouden
Hallucinated
Seriële positie — je herkenningspatroon
Meest waarschijnlijk Minst waarschijnlijk Meest waarschijnlijk
De woorden die je onthield, clusteren waarschijnlijk aan het begin en einde van de lijst. Het midden raakt verloren. Dit is het primacy–recency effect — en LLM's vertonen dezelfde voorkeur.
Instructies aan het begin en einde van een context window worden gevolgd. Het midden raakt begraven. Dit is waarom meer context ≠ betere resultaten — en waarom "Lost in the Middle" (Liu et al. , 2023) nauwkeurigheidsverlies van 30%+ vond wanneer sleutelfeitenen in het midden van lange contexten terechtkwamen.
Woorden opnieuw afspelen (verslaat de oefening)
De U-vormige curve
Wat je zojuist hebt ervaren, heeft een naam: het serial position effect. Psychologen hebben het meer dan een eeuw bestudeerd. Items aan het begin van een lijst profiteren van primacy (ze worden meer geoefend), en items aan het einde profiteren van recency (ze zijn nog vers). Het midden krijgt geen van beide voordelen.
Positie in lijst → Herkenningskans → Primacy Verloren in het midden Recency
Het fascinerende deel: grote taalmodellen vertonen hetzelfde patroon. In 2023 testten onderzoekers van Stanford wat er gebeurt wanneer je een sleutelfeit op verschillende posities binnen een lang context window plaatst. De nauwkeurigheid was het hoogst wanneer het feit aan het allereerste begin of allereerste einde verscheen — en daalde met meer dan 30% wanneer het in het midden begraven was.
Dit is geen eigenaardige eigenschap. Het is structureel. Transformer attention-patronen wegen de randen van het context window van nature zwaarder.
Wat dit betekent voor prompting
Als je een 20-pagina document in een prompt plakt en een vraag stelt over iets op pagina 11, is het waarschijnlijker dat het model het mist dan iets op pagina 1 of pagina 20. Dit heeft echte gevolgen voor hoe je context structureert.
❌ Gevaarlijk patroon
Systeemprompt
Chatbericht 1
Chatbericht 2
.
⚠ Sleutelinstructie begraven hier
.
Chatbericht 18
Nieuwste gebruikersbericht
✓ Veiliger patroon
Systeemprompt
★ Sleutelinstructie (vooraan)
Chatbericht 1
Chatbericht 2
.
Chatbericht 18
Nieuwste gebruikersbericht
★ Sleutelinstructie (herhaald)
Het praktische advies is eenvoudig: plaats je belangrijkste instructies aan het begin en einde van de context. Als een beperking absoluut moet worden gevolgd, vermeld het vroeg in de systeemprompt en herhaal het dicht bij het einde. Vertrouw niet erop dat het model alles ertussenin gelijk gewicht geeft.
Dit is het startpunt, niet het plafond. Naarmate je meer vaardig wordt, zul je steeds geavanceerdere manieren ontdekken om context te structureren zodat het model betrouwbaar begrijpt wat belangrijk is — door te gebruikmaken van waar in het window informatie zich bevindt, wat je moet opnemen versus weglaten, en hoe je kritieke instructies uit de dode zone kunt houden. Het doel is altijd hetzelfde: maak het duidelijk voor Claude wat je werkelijk nodig hebt.
Het grotere plaatje
Context degradation is de reden waarom "geef het gewoon meer context" niet altijd het antwoord is. Elk stuk context dat je toevoegt, duwt andere stukken verder het midden in — de attention dode zone. Dit is de kernspanning van context engineering : niet alleen wat je opneemt, maar waar je het plaatst en wat je weglaat.
Sleutelconclusie
Meer context ≠ betere resultaten. De aandacht van het model is eindig. Curateer genadeloos, plaats strategisch, en herhaal wat belangrijk is.
Je eigen geheugentest vertelde je dit al. De woorden in het midden verdwenen. Hetzelfde gebeurt in elk lang gesprek, elk geplakt document, elk context window dat tot de rand toe is gevuld. De oplossing is niet meer — het is slimmer.