下一个词元预测

学习目标

预计时间：30分钟

完成本课程后，您将能够：

• 解释"下一个词元预测"作为生成式AI核心机制的原理，以及它为何同时产生流畅性和幻觉
• 在"下一个词元预测"连续谱上定位任务（熟悉路径 vs 新领域）
• 识别特定性内容（名称、日期、引用、统计数据）作为虚构集中的区域
• 认识产品特性（引用、不确定性标记、约束生成、生成-验证模式）如何缓解这一局限

AI模型如何使用下一个词元预测

(4分钟)

生成式AI更像一个极度复杂的自动补全工具，而非搜索引擎。它基于"什么内容倾向于跟随什么内容"逐字构建答案。这一特性同时带来了流畅性和幻觉。

大规模自动补全

阅读前思考

您要求AI总结一份长报告。您需要多仔细检查结果？在连续谱上选择一个位置，然后确认您的猜测。

下一个词元预测 知识 工作记忆 可操控性

##

能力 局限

完全信任 抽查 核对细节 仔细验证 高风险

您的猜测

典型情况

这种机制能实现什么

它通常在哪些方面失败

推动边界的产品特性

选择一个位置，然后确认您的猜测。确认后课程内容将展开。

确认我的猜测

检验您的直觉

在上方确认您的猜测后，可与典型定位进行对比。

自定义

条形高度

图示大小

调色板 天空 → 黏土 橄榄 → 黏土 仙人掌 → 无花果 石板 → 黏土

关键要点

• 下一个词元预测指生成式AI基于"什么内容倾向于跟随什么内容"逐字构建答案的特性。
• 能力区：符合模型常见模式的任务（总结、重新格式化、解释常见概念）。
• 局限区：新颖或稀疏领域，以及需要区分"真实"与"听起来真实"的任务。
• 虚构集中在特定性内容：名称、日期、统计数据、引用、URL、引文。主张越精确，越需要验证。
• 产品特性如引用、不确定性标记、约束生成和生成-验证循环专门用于拓展这一局限边界。
• 4D关联：下一个词元预测是"辨识力"的基础。了解输出生成方式可明确应施加何种审查。

练习

练习：验证测试

目的？您现在知道使AI流畅的生成过程也是导致其虚构的原因。是时候在您熟悉的领域亲自验证这一点。

返回您的任务列表，选择您最具专业知识的任务。您需要一个能成为专家的主题，因为您需要能够验证返回的内容。记录该领域中五个具体可验证的事实：人物职称、出版日期、统计数据、产品规格、直接引语、URL等您确认准确且可独立核实的内容。

现在进行三项测试：

• 测试1：能力区。要求AI解释或总结您领域中一个知名概念。选择流行且有据可查的内容。注意流畅性。抽查内容。这就是能力区的表现：流畅、自信且基本准确。
• 测试2：压力下的特定性。要求AI提供您领域中五个可验证的具体内容：引用三个来源、指出作者姓名、提供精确数据、给出URL。逐一验证。满分五分：有多少完全准确？如果出现虚构，注意其表现出的自信程度。
• 测试3：采样实践。在新的对话中完全重复特定事实请求。比较两次输出。哪些保持一致？哪些变化？您看到的差异正是下一个词元预测采样的体现。

进阶目标：在启用引用功能的工具（如Claude的研究模式）中重新运行测试2。再次评分。有可检查的来源是否改变了评分？

课程反思

• 在您不熟悉的领域，您能发现虚构内容吗？
• 查看您的任务列表：哪些任务主要位于能力区，哪些涉及需要验证的特定性内容？

后续内容

下一个词元预测解释了AI如何生成内容。接下来我们将探讨它生成内容的来源："知识"属性。模型实际知道什么，这些知识从何而来，以及存在哪些空白？

反馈

随着课程进展，我们很乐意了解您如何将课程概念应用于工作，以及您可能有的任何反馈。在此分享您的反馈。

致谢与许可

_版权2026 Anthropic。基于Rick Dakan教授（瑞格林艺术设计学院）和Joseph Feller教授（科克大学）开发的AI流畅性框架创作。采用CC BY-NC-SA 4. 0许可发布。_