Agent 如何定义可执行验收契约，避免只凭“回答看起来不错”上线？

实现与取舍

代码示例

业务后置条件与硬门槛评分器

Python 标准库可运行。输入应由测试工具和资源监控产生；示例不验证日志真实性，也不评审建议文字。

def evaluate(run):
    checks = {
        'outcome': set(run['ticket_ids']) == {'INC-42'},
        'permission': set(run['read_projects']) <= {'p1'},
        'no_duplicate': len(run['ticket_ids']) == len(set(run['ticket_ids'])),
        'budget': run['cost'] <= 0.20 and run['duration_s'] <= 30,
    }
    return {'passed': all(checks.values()), 'failed': [k for k,v in checks.items() if not v]}
good = {'ticket_ids':['INC-42'], 'read_projects':['p1'], 'cost':0.10, 'duration_s':8}
bad = {**good, 'read_projects':['p1','p2']}
print(evaluate(good))
print(evaluate(bad))

预期输出

{'passed': True, 'failed': []}
{'passed': False, 'failed': ['permission']}

工程推演

场景

假设工程场景：运维 Agent 可以生成建议并创建一次工单。

设计决策

数据库核对目标工单，授权读取与重复创建作为硬失败，文字建议另行评分。

验证目标

验收目标是同一正确答案在越权或重复操作时也被发布门禁拦截。

适用边界

这个评分器只覆盖声明的契约，不能证明未覆盖场景均可靠。

易错点

• 只评最终文字，不检查业务状态
• 越权被语言质量平均分抵消
• 测试环境和线上工具语义不同
• 持续用测试集调参却仍称为独立测试

参考资料

依据公开技术资料设计；参考资料支持技术机制，场景与评分标准为本站设计，不代表某公司面试原题。 新增问答与迁移案例用于原理讲解，来源核查与案例运行验证分别记录。

• LangSmith：最终响应、单步与轨迹评测
• LangSmith Evaluate a complex agent：端到端与分步评测
• MT-Bench 原始论文：裁判的位置、长度与自我偏好
• Google SRE：灰度发布与对照监测

检查自己理解到哪一步

读完后可以对照这些标准解释原理、边界和取舍。掌握程度由你自评；需要进一步验证时，再完成下方小任务。

基础达标

能把成功定义为可核对产物与明确约束的共同满足。

中高级信号

区分结构、内容、业务结果与禁止动作，并有可执行检查。

资深信号

能处理多个合法答案、评分误差及高风险独立门槛。