本节课没有语音摘要。
预计时间: 8分钟
学习目标
完成本课程后,您将能够:
- 解释什么是评估(eval)以及为何在分享或依赖某项技能前进行评估很重要
- 通过skill-creator运行轻量级评估
重要性说明
当您构建一项技能或将多项技能打包成插件时,实际上是在创建一个供他人使用的小型产品。就像您交给同事的任何东西——模板、电子表格模型、检查清单——在离开您手中之前都值得先试运行一下。
使用自己构建的技能时,您知道如何规避任何问题或故障。您清楚该问什么、该提供什么文件以及答案应该是什么样子。但队友们并不具备这些信息。他们可能会用稍微不同的方式提出请求,提供略有差异的输入,或遇到边缘情况——即那些虽不常见但真实存在的场景,比如请求刚好超出技能设计范围的情况。这正是技能容易出错的地方,而使用者往往不明白原因何在。
通过评估(eval)测试技能,就是要在他人发现问题前先发现这些问题。别被这个词吓到。评估其实就是试用:输入一个真实的请求,观察输出结果,然后告诉Claude需要改进的地方。无需代码或测试脚本——只需您判断结果是否足够好,值得署上您的名字。
评估系统工作原理
使用skill-creator(Claude内置的技能创建助手)构建技能时,它会引导您完成评估流程。具体流程如下:
skill-creator会生成两个或多个用户可能对您的技能使用的真实提示。针对每个提示,它会生成一对输出:
- 一个是Claude使用您的技能时的输出
- 另一个是Claude不使用您的技能回答相同提示时的输出
后者作为对比基准。这样您就能并排看到您的技能实际带来的差异——不仅是"这个输出可以吗",而是"这个输出比Claude独立完成的更好吗"。
查看每对输出并用简单的英语在评审页面上提供反馈。阅读每对输出时,您只需回答两个问题:
- 技能版本是我会使用的那个吗?如果是,很好——记下它更好的地方以便技能保持这种表现。
- 如果不是,缺少什么或哪里不对?要具体。"语气太正式"或"跳过了执行摘要"给Claude提供了改进方向;而"这不完全正确"则没有。
提交反馈后,Claude会根据您的意见修订技能。
迭代改进技能
您的反馈就是修复方案。提交后,Claude会更新技能——重写指令、调整示例、收紧要求——然后您可以再次运行相同的提示,看看变化是否生效。
一次只改一个方面。如果第一轮评估显示技能既啰嗦又缺少某个部分,选择更重要的那个进行修复,重新运行,然后再回来进行另一轮评审。这样您能看出哪些修改真正有效。如果修订后仍不满意输出,可以再次运行——这是个循环过程,不是一次性关卡。大多数技能经过一两轮就能准备好。发布技能(给自己或队友使用)的标准不是完美的评估结果,而是您关心的案例明显优于基线,并且您已明确指出尚未处理的情况。
如果第一次评估的输出看起来就很棒?那您就完成了。评估不是必须跨越的障碍——它们的存在是为了在您需要信心时提供帮助,而不是形式主义。
现在尝试
下面逐步完成一个模拟评估评审——三个提示,每个提示都有使用技能和不使用技能的并排输出。
阅读评估
评估只是两个并排的输出,加上几条关于"好"的标准。您的任务就是选择您实际会发送的那个——并告诉Claude需要改变什么。
1 / 3
典型情况
常规团队同步会议纪要
提示
撰写今天产品同步会议的纪要。笔记在notes/2026-05-01-product-sync. md。
使用技能 ✓✓✓✓ 4/4
产品同步会议——纪要
决策
- 从周一开始向10%的新注册用户推送新版引导流程。
- 暂停应用内导览重新设计,待发布后再继续。
行动项
- Maya——5月9日周五前完成发布计划终稿。
- Devon——5月7日周三前为新流程添加激活率监测。
- Priya——5月12日周一前起草公告文稿。
待解决问题
- 新版文案是否需要法务在10%推送前签字确认?
评审标准
- ✓ 以决策开头
- ✓ 每项行动都有负责人和截止日期
- ✓ 明确标注待解决问题
- ✓ 少于150字
未使用技能 ×××✓ 1/4
产品同步会议纪要
团队今早就新版引导流程进行了富有成效的讨论。在评审最新设计稿后,小组决定从下周一开始进行10%的推送。会上也提到了应用内导览重新设计,但共识是发布后再处理。
Maya表示会完成发布计划终稿,Devon提到他会处理监测部分。Priya将起草公告内容。关于新版文案是否需要法务确认也存在一些讨论——团队对此未达成结论。
总体而言_这是一次富有成效的会议,明确了后续步骤_。
评审标准
- × 以决策开头
- × 每项行动都有负责人和截止日期
- × 明确标注待解决问题
- ✓ 少于150字
您会发送哪个版本?
我会发送这个 我会发送这个
您会告诉Claude需要改变的一点
混乱输入
根据粗糙、部分粘贴的笔记整理站会纪要
提示
整理营销站会纪要——笔记很粗糙,一半内容只是粘贴的Slack消息。
使用技能 ✓✓✓× 3/4
营销站会——纪要
决策
- 将网络研讨会从5月14日推迟至5月21日,避免与客户会议冲突。
行动项
- Jordan——5月5日周一前更新注册页面并重新发送邀请。
- (负责人不明确——需与Priya确认?)——5月7日周三前根据新日期调整邮件发送节奏。
待解决问题
- 是否需要通知已宣传原定日期的合作伙伴?
- 重新安排后的当天后勤工作由谁负责?
评审标准
- ✓ 以决策开头
- ✓ 每项行动都有负责人和截止日期_(或标注)_
- ✓ 明确标注待解决问题
- × 少于150字_(164)_
未使用技能 ✓××✓ 2/4
营销站会
团队同意将网络研讨会从5月14日推迟至5月21日,因为客户会议在同一周举行。Jordan将更新落地页并重新发送邀请。
_Priya将根据新日期调整邮件发送节奏。_团队还讨论了如何处理已宣传原定日期的合作伙伴以及新日期的当天后勤问题。
进展良好——所有人都同意改期。
评审标准
- ✓ 以决策开头
- × 每项行动都有负责人和截止日期_(编造了负责人)_
- × 明确标注待解决问题_(隐藏在段落中)_
- ✓ 少于150字
您会发送哪个版本?
我会发送这个 我会发送这个
您会告诉Claude需要改变的一点
形式与内容
为只读前三行的高管整理纪要
提示
整理高管检查会议纪要——保持简短,他们只看前三行。
使用技能 ✓✓✓× 3/4
高管检查会议——纪要
决策
- 将发布日期从5月28日推迟至_6月12日_以吸收QA延迟。
- 客户沟通计划待新日期确定后再执行。
行动项
- Sam——5月5日周一前分发修订后的发布计划。
待解决问题
- 新日期是否影响我们承诺的Q2目标?
评审标准
- ✓ 以决策开头
- ✓ 每项行动都有负责人和截止日期
- ✓ 明确标注待解决问题
- × 前三行包含标题_(日期推迟到第5行)_
未使用技能 ✓✓×✓ 3/4
高管检查会议
发布日期推迟至6月12日——新认证流程需要QA再花两周时间,5月28日发布将导致部分功能缺失。
客户沟通暂缓至日期确定。Sam将在5月5日周一前分发修订计划。
待确认:新日期是否影响Q2承诺?——已标记请财务确认。
评审标准
- ✓ 以决策开头
- ✓ 每项行动都有负责人和截止日期
- × 明确标注待解决问题_(隐藏在段落中)_
- ✓ 前三行包含标题
您会发送哪个版本?
我会发送这个 我会发送这个
您会告诉Claude需要改变的一点
这就是完整的评估轮次。当评估您自己的技能时,Claude会根据您的选择和反馈为您修订技能。
对于每对输出:选择您实际会发送的版本,并写下一行您会给Claude的反馈。这就是整个循环过程。
下一步
下一课中,您将从"这对我有效"转向"这对团队有效"——将个人工作流程转化为共享基础设施的模式和选择。
反馈
随着课程的进行,我们很想知道您如何将课程中的概念应用到工作中,以及您可能有的任何反馈。请在此处分享您的反馈。
致谢与许可
版权2026 Anthropic。保留所有权利。