Gesprochene Zusammenfassung — drücke auf Play zum Mitlesen: die gesprochene Zeile bleibt oben.
Wenn mehr Kontext die Dinge verschlimmert
Ein natürlicher Instinkt bei der Verwendung von KI ist, ihr alles zu geben. Fügen Sie das ganze Dokument ein. Beziehen Sie jede Nachricht ein. Fügen Sie all den Kontext ein, den Sie finden können. Mehr Informationen bedeuten bessere Antworten, richtig?
Nicht immer. Es gibt ein Phänomen, das jeder, der für eine Prüfung gelernt hat, intuitiv kennt: Es gibt eine Grenze, wie viel man gleichzeitig im Kopf behalten kann. Und die Dinge in der Mitte verschwinden zuerst.
Bevor wir darüber sprechen, wie dies KI-Modelle beeinflusst, schauen wir uns an, wie es Sie beeinflusst.
Der Gedächtnistest
Gedächtnistest
Sie sehen 15 Wörter, eines nach dem anderen. Jedes wird etwa 1,5 Sekunden lang angezeigt. Versuchen Sie, sich so viele wie möglich zu merken.
Wörter anzeigen
Geben Sie die Wörter ein, die Sie sich merken, getrennt durch Kommas oder Leerzeichen.
Mein Gedächtnis überprüfen
Sie haben 0 von 15 erinnert
Halluziniert
Serielle Position — Ihr Erinnerungsmuster
Am wahrscheinlichsten Am wenigsten wahrscheinlich Am wahrscheinlichsten
Die Wörter, die Sie sich merkten, konzentrieren sich wahrscheinlich auf den Anfang und das Ende der Liste. Die Mitte geht verloren. Dies ist der Primacy-Recency-Effekt — und LLMs zeigen die gleiche Verzerrung.
Anweisungen am Anfang und Ende eines context window werden befolgt. Die Mitte wird begraben. Deshalb ist mehr Kontext ≠ bessere Ergebnisse — und warum "Lost in the Middle" (Liu et al. , 2023) Genauigkeitsverluste von über 30% feststellte, wenn Schlüsselfakten in der Mitte langer Kontexte landen.
Wörter wiedergeben (macht die Übung zunichte)
Die U-förmige Kurve
Das, was Sie gerade erlebt haben, hat einen Namen: der Serial Position Effect. Psychologen haben ihn über ein Jahrhundert lang untersucht. Elemente am Anfang einer Liste profitieren von Primacy (sie werden mehr wiederholt), und Elemente am Ende profitieren von Recency (sie sind noch frisch). Die Mitte hat keinen dieser Vorteile.
Position in der Liste → Erinnerungswahrscheinlichkeit → Primacy In der Mitte verloren Recency
Der faszinierende Teil: Große Sprachmodelle zeigen das gleiche Muster. 2023 testeten Forscher der Stanford University, was passiert, wenn man einen Schlüsselfakt an verschiedenen Positionen innerhalb eines langen context window platziert. Die Genauigkeit war am höchsten, wenn der Fakt ganz am Anfang oder ganz am Ende erschien — und fiel um mehr als 30%, wenn er in der Mitte begraben war.
Dies ist keine Eigenheit. Es ist strukturell. Transformer-Aufmerksamkeitsmuster gewichten die Ränder des context window natürlicherweise stärker.
Was dies für Prompting bedeutet
Wenn Sie ein 20-seitiges Dokument in einen prompt einfügen und eine Frage zu etwas auf Seite 11 stellen, ist es wahrscheinlicher, dass das Modell es übersieht als etwas auf Seite 1 oder Seite 20. Dies hat echte Auswirkungen auf die Strukturierung Ihres Kontexts.
❌ Gefährliches Muster
System prompt
Chat-Nachricht 1
Chat-Nachricht 2
.
⚠ Wichtige Anweisung hier begraben
.
Chat-Nachricht 18
Neueste Benutzernachricht
✓ Sichereres Muster
System prompt
★ Wichtige Anweisung (am Anfang)
Chat-Nachricht 1
Chat-Nachricht 2
.
Chat-Nachricht 18
Neueste Benutzernachricht
★ Wichtige Anweisung (wiederholt)
Der praktische Rat ist unkompliziert: Platzieren Sie Ihre wichtigsten Anweisungen am Anfang und Ende des Kontexts. Wenn eine Einschränkung unbedingt befolgt werden muss, geben Sie sie früh im system prompt an und wiederholen Sie sie gegen Ende. Verlassen Sie sich nicht darauf, dass das Modell allem dazwischen gleiches Gewicht gibt.
Dies ist der Anfang, nicht die Obergrenze. Mit zunehmender Flüssigkeit werden Sie zunehmend ausgefeilte Wege entdecken, um Kontext zu strukturieren, damit das Modell zuverlässig versteht, was wichtig ist — indem Sie nutzen, wo im window Informationen sitzen, was einzubeziehen oder auszulassen ist, und wie Sie kritische Anweisungen aus der Toten Zone halten. Das Ziel ist immer das gleiche: Machen Sie Claude deutlich, was Sie wirklich brauchen.
Das größere Bild
Context Degradation ist der Grund, warum "geben Sie ihm einfach mehr Kontext" nicht immer die Antwort ist. Jedes Stück Kontext, das Sie hinzufügen, drückt andere Stücke weiter in die Mitte — die Aufmerksamkeits-Tote Zone. Dies ist die Kernspannung von Context Engineering: nicht nur was einzubeziehen ist, sondern wo es hingehört und was man weglässt.
Wichtigste Erkenntnis
Mehr Kontext ≠ bessere Ergebnisse. Die Aufmerksamkeit des Modells ist endlich. Kuratieren Sie rücksichtslos, platzieren Sie strategisch, und wiederholen Sie, was wichtig ist.
Ihr eigener Gedächtnistest hat Ihnen das bereits gesagt. Die Wörter in der Mitte sind verschwunden. Das gleiche passiert in jedem langen Gespräch, jedem eingefügten Dokument, jedem context window, das bis zum Rand gefüllt wurde. Die Lösung ist nicht mehr — es ist intelligenter.