Agent 上线后回答变慢、成本变高，如何定位到具体一步？

实现与取舍

代码示例

离线汇总一个任务的工具尝试

Python 3 标准库即可运行。仅演示逻辑调用与重试统计，未接入 OpenTelemetry；tool_work_ms 是工作量之和，存在并发时不能视作任务墙钟耗时。

import json

# 假设采集得到的三个 span；同一 tool_call_id 的不同 attempt 是重试。
spans = [
    {"run_id": "r1", "tool_call_id": "t1", "attempt": 1, "status": "timeout", "duration_ms": 800},
    {"run_id": "r1", "tool_call_id": "t1", "attempt": 2, "status": "ok", "duration_ms": 120},
    {"run_id": "r1", "tool_call_id": "t2", "attempt": 1, "status": "ok", "duration_ms": 60},
]
result = {
    "tool_attempts": len(spans),
    "logical_tool_calls": len({s["tool_call_id"] for s in spans}),
    "failed_attempts": sum(s["status"] != "ok" for s in spans),
    "tool_work_ms": sum(s["duration_ms"] for s in spans),
}
print(json.dumps(result, ensure_ascii=False, sort_keys=True))

预期输出

{"failed_attempts": 1, "logical_tool_calls": 2, "tool_attempts": 3, "tool_work_ms": 980}

工程推演

场景

假设工程场景：企业知识助手出现响应变慢，同时 token 用量上升。

设计决策

将模型尝试、检索耗时与工具重试拆开记录，对同一版本固定样本比较。

验证目标

验收目标是定位最慢阶段并解释新增费用，本文未声称已执行真实线上实验。

适用边界

离线例子只演示统计口径；生产部署仍需真实埋点、采样与权限配置。

易错点

• 把最终 HTTP 200 当成任务正确完成。
• 把重试产生的多次尝试统计为独立业务任务。
• 将完整客户文档或高基数任务标识无控制地写入日志和指标。

参考资料

依据公开技术资料设计；参考资料支持技术机制，场景与评分标准为本站设计，不代表某公司面试原题。 新增问答与迁移案例用于原理讲解，来源核查与案例运行验证分别记录。

• OpenTelemetry：GenAI agent spans（Development）
• OpenAI Agents SDK：Tracing
• OpenTelemetry：Trace、Span 与异步因果链接
• OpenTelemetry：上下文传播

检查自己理解到哪一步

读完后可以对照这些标准解释原理、边界和取舍。掌握程度由你自评；需要进一步验证时，再完成下方小任务。

基础达标

能记录运行、步骤、工具耗时和用量。

中高级信号

以关联 ID 定位排队、模型、工具和重试成本。

资深信号

兼顾脱敏、指标基数、采样及单位成功成本。