Essayez

Quand plus de contexte rend les choses pires

Un instinct naturel quand on utilise l'IA est de lui donner tout. Collez le document entier. Incluez chaque message. Ajoutez tout le contexte que vous pouvez trouver. Plus d'informations signifie de meilleures réponses, non ?

Pas toujours. Il existe un phénomène que quiconque a bachoté pour un examen connaît intuitivement : il y a une limite à ce que vous pouvez retenir à la fois. Et les choses au milieu ont tendance à disparaître en premier.

Avant de parler de la façon dont cela affecte les modèles d'IA, voyons comment cela vous affecte vous.

Le test de mémoire

Test de mémoire

Vous verrez 15 mots, un à la fois. Chacun apparaît pendant environ 1,5 secondes. Essayez d'en mémoriser autant que possible.

Afficher les mots

Tapez les mots dont vous vous souvenez, séparés par des virgules ou des espaces.

Vérifier ma mémoire

Vous avez rappelé 0 sur 15

Hallucination

Position sérielle — votre modèle de rappel

Le plus probable Le moins probable Le plus probable

Les mots dont vous vous souvenez se regroupent probablement au début et à la fin de la liste. Le milieu se perd. C'est l'effet de primauté-récence — et les LLM montrent le même biais.

Les instructions au début et à la fin d'une fenêtre de contexte sont suivies. Le milieu est enterré. C'est pourquoi plus de contexte ≠ meilleurs résultats — et pourquoi « Lost in the Middle » (Liu et al. , 2023) a trouvé des baisses de précision de 30%+ quand les faits clés se retrouvent au centre de longs contextes.

Rejouer les mots (annule l'exercice)

La courbe en U

Ce que vous venez d'expérimenter a un nom : l'effet de position sérielle. Les psychologues l'étudient depuis plus d'un siècle. Les éléments au début d'une liste bénéficient de la primauté (ils sont plus répétés), et les éléments à la fin bénéficient de la récence (ils sont encore frais). Le milieu n'a aucun de ces avantages.

Position dans la liste → Probabilité de rappel → Primauté Perdu au milieu Récence

La partie fascinante : les grands modèles de langage exhibent le même modèle. En 2023, des chercheurs de Stanford ont testé ce qui se passe quand vous placez un fait clé à différentes positions dans une longue fenêtre de contexte. La précision était la plus élevée quand le fait apparaissait au tout début ou à la toute fin — et a chuté de plus de 30% quand il était enterré au milieu.

Ce n'est pas une bizarrerie. C'est structurel. Les modèles d'attention Transformer pondèrent naturellement plus lourdement les bords de la fenêtre de contexte.

Ce que cela signifie pour le prompting

Si vous collez un document de 20 pages dans un prompt et posez une question sur quelque chose à la page 11, le modèle est plus susceptible de le manquer que quelque chose à la page 1 ou à la page 20. Cela a des implications réelles pour la façon dont vous structurez le contexte.

❌ Modèle dangereux

Prompt système

Message de chat 1

Message de chat 2

.

⚠ Instruction clé enterrée ici

.

Message de chat 18

Dernier message de l'utilisateur

✓ Modèle plus sûr

Prompt système

★ Instruction clé (au début)

Message de chat 1

Message de chat 2

.

Message de chat 18

Dernier message de l'utilisateur

★ Instruction clé (répétée)

Le conseil pratique est simple : mettez vos instructions les plus importantes au début et à la fin du contexte. Si une contrainte doit absolument être respectée, énoncez-la au début du prompt système et répétez-la près de la fin. Ne comptez pas sur le modèle pour donner un poids égal à tout ce qui se trouve entre les deux.

C'est le point de départ, pas le plafond. À mesure que vous devenez plus fluide, vous découvrirez des façons de plus en plus sophistiquées de structurer le contexte pour que Claude comprenne de manière fiable ce qui compte — en tirant parti de l'endroit où l'information se situe dans la fenêtre, de ce qu'il faut inclure par rapport à ce qu'il faut laisser de côté, et de comment garder les instructions critiques hors de la zone morte. L'objectif est toujours le même : rendre évident pour Claude ce dont vous avez réellement besoin.

La vue d'ensemble

La dégradation du contexte est la raison pour laquelle « donnez-lui simplement plus de contexte » n'est pas toujours la réponse. Chaque élément de contexte que vous ajoutez pousse d'autres éléments plus loin vers le milieu — la zone morte de l'attention. C'est la tension centrale de l'ingénierie du contexte : non seulement ce qu'il faut inclure, mais où le placer et ce qu'il faut laisser de côté.

Point clé

Plus de contexte ≠ meilleurs résultats. L'attention du modèle est finie. Triez impitoyablement, placez stratégiquement, et répétez ce qui compte.

Votre propre test de mémoire vous l'a déjà dit. Les mots au milieu ont disparu. La même chose se produit à l'intérieur de chaque longue conversation, chaque document collé, chaque fenêtre de contexte remplie à ras bord. La solution n'est pas plus — c'est plus intelligent.