Agent 评测框架

适用产品：支持用户供给 Skill 的 Agent 产品 版本：v0.8 | 最后更新：2026-04-28

框架总览

12 个评测维度按能力层级分为三组，编号连续递增，另有横切维度和多模态专项维度。排障和上线优先级均从第一组开始：第一组有问题不用看后面；第一组达标再看第二组核心路径；第三组是持续迭代的品控层。

第一组：基础能力（B1-B3）

这些坏了，其他维度都跑不起来。必须优先达标。

第二组：复合能力（C1-C5）

依赖基础能力组合而来。核心路径必须达标，边界情况持续迭代。

第三组：质量与安全（Q1-Q3）

基础和复合能力跑通后的品控层。上线前必须有底线，之后持续提升。

横切维度（X）

贯穿所有层级的附加评测，每次评测均需覆盖。

多模态质量（M 系列）

针对特定输出形态的专项评测，发现系统性问题后独立成维度持续跟踪。

M1 设立背景：经验证，模型存在系统性「只输出文字、不主动配图」问题，景点介绍、商品推荐、美食推荐等高频场景均未达到图文并茂的产品预期，故独立成维度持续跟踪修复进展。

Skill 分组评测方法论

本产品的核心差异化在于用户供给 Skill，但评测时需要同时验证「没有 Skill 时的基础能力」和「有 Skill 时是否产生负面影响」。

核心矛盾

• 产品目标：希望用户需求都由 Skill 驱动解决
• 评测需求：需要验证 agent 在没有 Skill 时也能达到可用下限

解决方案：按维度差异化配置——B1-B3 及 Q3 采用双组对照，C1 强制开启，C2/C4/C5/Q1 强制关闭，Q2 混合配置，X 视用例而定。详见下方各维度说明。

评测分组策略

第一组（B1-B3）：双组对照

执行方式：

• 每条 B1-B3 的 case 分别在 Group A 和 Group B 下各跑一次
• 计算 skill_impact_delta = Group B 得分 - Group A 得分
• 期望结果：Group B ≥ Group A（skill 不应降低基础能力）

为什么需要 Group A（无 skill baseline）：

1. 排障起点：如果无 skill 时都不达标，问题在 agent 本身，不是 skill 设计
2. 对照基准：有 baseline 才能量化 skill 带来的增益或损失
3. 通用能力保底：即使用户未供给任何 skill，产品也应可用

为什么需要 Group B（有 skill）：

1. 真实场景：产品上线后就是 skill-enabled 的，不测等于没测真实状态
2. 负面检测：部分 skill 设计不当会破坏基础能力（如强制流程导致意图理解僵硬）
3. Skill 质量指标：若 Group B 得分低于 Group A，说明 skill 写得有问题

第二组（C1-C5）：按维度差异化配置

前置条件：只有当 B1-B3 的 Group B 达标后，才应进入 C1-C5 评测。

if B1-B3 Group B 得分 < 阈值:
    Skill 破坏了基础能力，优先修复 Skill 设计
else:
    可进入 C1-C5 评测 Skill 遵从度和复合能力

第三组（Q1-Q3）：按维度差异化配置

Skill 配置管理

测试 case 中的 Skill 配置字段

每条 case 需要指明：

• Group A 配置：skill_enabled: false
• Group B 配置：skill_enabled: true + active_skills: [skill_id_1, skill_id_2]

示例：

case_id: B1-EI-01
group_a:
  skill_enabled: false
group_b:
  skill_enabled: true
  active_skills: 
    - flight_booking_skill
    - travel_planning_skill

Skill 版本管理

每次评测需记录：

• 使用的 Skill 列表及其版本
• Skill Schema 版本
• 若某个 Skill 更新，需重新跑相关 case

关键指标

质量门槛：

• baseline_score ≥ 70%（无 Skill 时也能基本可用）
• skill_impact_delta ≥ 0（Skill 不应降低基础能力）
• skill_negative_rate ≤ 10%（允许少量 case 有轻微负面，但不能普遍）

第一组：基础能力

B1 · 意图理解

目标

验证 agent 能否在不同清晰度的输入下，准确捕捉用户意图并作出合理响应。

评测维度

方法

1. 分组对照评测：每条 case 分别在 Group A（无 skill）和 Group B（有 skill）下执行，对比两组得分
2. Golden Set 评分：针对每个维度构造 case，人工标注期望行为，自动比对输出
3. 二元判断：意图理解是否正确（对/错），再辅以部分分（关键要素覆盖率）
4. 澄清行为分类：对模糊输入，判断 agent 的响应属于「正确澄清 / 错误推断 / 合理推断 / 过度澄清」四类

模块

• intent_exact_match：精确意图命中率
• intent_clarification_judge：澄清 vs 推断的决策是否合理
• intent_coverage_score：多意图场景下意图覆盖率（0-1）
• skill_impact_delta：Group B 与 Group A 的得分差（来自分组对照）

B2 · Tool Use

目标

验证 agent 能否正确选择工具、构造参数、处理异常，并在多工具依赖场景中正确编排。

评测维度

方法

1. 分组对照评测：每条 case 分别在 Group A（无 skill）和 Group B（有 skill）下执行，对比两组得分
2. Trace 级评测：记录每次工具调用的完整 trace，对照期望 trace 打分
3. 参数 diff：对构造的参数和 ground truth 参数做字段级 diff，计算字段准确率
4. 注入失败测试：主动让工具返回错误，观察 agent 恢复行为
5. 自动化为主：大部分可程序化验证，无需人工

模块

• tool_selection_accuracy：工具选择准确率
• param_field_accuracy：参数字段准确率（精确匹配 + 语义等价）
• tool_chain_order_score：多工具编排顺序正确率
• failure_recovery_rate：工具失败后成功恢复的比例
• redundant_call_rate：冗余调用率（越低越好）
• skill_impact_delta：Group B 与 Group A 的得分差（来自分组对照）

B3 · 指令约束遵从

目标

验证 agent 能否严格执行用户给出的精确约束条件，包括格式、数量、内容限制等。这与意图理解（B1）不同：B1 测「理解了什么」，B3 测「有没有按约束做到」。

评测维度

方法

1. 分组对照评测：每条 case 分别在 Group A（无 skill）和 Group B（有 skill）下执行，对比两组得分
2. 约束违反自动检测：大部分约束（格式、数量、长度）可程序化验证，无需人工
3. 内容禁止检测：正则或关键词匹配，检测禁止内容是否出现
4. 多约束组合集：构造含 2-4 个约束叠加的 case，测试约束间的干扰

模块

• format_constraint_compliance：格式约束遵守率
• quantity_constraint_compliance：数量约束遵守率
• content_prohibition_compliance：内容禁止约束遵守率
• length_constraint_compliance：长度约束遵守率
• multi_constraint_full_compliance：多约束全部满足率
• skill_impact_delta：Group B 与 Group A 的得分差（来自分组对照）

第二组：复合能力

C1 · Skill 遵从

目标

验证 agent 能否准确识别当前任务应使用哪个 skill，并严格按照 skill 规范执行，同时具备处理 skill 边界情况的能力。

这是本产品的差异化核心层，评测标准应与 Skill Schema 规范绑定。

前置条件：只有当 B1-B3 的 Group B（有 skill）得分达标后，才应进入 C1 评测。如果 Group B 得分低于阈值，说明 Skill 破坏了基础能力，应优先修复 Skill 设计。

Skill 配置：C1 评测必须在 Skill 开启状态下进行，无需 Group A 对照组。每条 case 指定 active_skills，通常为 [flight-selection]、[itinerary-planning] 或两者组合。

评测维度

方法

1. 三类 Case 构造（每个 skill 必须覆盖）：

   • 完美匹配：任务完全在 skill 覆盖范围内
   • 部分覆盖：任务只有一部分被 skill 覆盖
   • 完全不覆盖：没有相关 skill，测试 agent 是否知道降级

2. LLM-as-Judge 评分：

   • 输入：skill 定义 + 任务 + agent 输出
   • 评分项：忠实度（是否违反 skill 规定）+ 完整度（skill 要求的要素是否都输出了）
   • 分值：0-5 分，需提供评分依据

3. Judge 校准：每轮评测对 judge 结果抽样 10-20% 人工复核，维护 judge 准确率指标

模块

• skill_trigger_accuracy：skill 识别/触发准确率
• skill_faithfulness_score：skill 执行忠实度（LLM-judge，0-5）
• skill_completeness_score：skill 要素覆盖完整度（LLM-judge，0-5）
• skill_boundary_handling：边界/降级处理正确率
• judge_calibration_rate：judge 与人工评分的一致率（质量保障指标）

C2 · 规划与多步推理

Skill 配置：skill_enabled: false（测纯规划能力，不引入 Skill 路径干扰）

目标

验证 agent 能否对复杂任务制定合理计划，并在执行过程中可靠地完成多步骤链式任务，包括对中间错误的容忍和修正能力。

评测维度

方法

1. 任务按步骤数分级：2步、3-5步、5步以上，分别统计成功率
2. 计划质量评审：在 agent 开始执行前截取计划，LLM-judge 评估分解合理性
3. 注入中间错误：在固定步骤注入错误，测试计划修订和错误恢复能力
4. 端到端自动验证：定义任务的最终输出 ground truth，程序化判断是否达成

模块

• plan_decomposition_score：任务分解质量（LLM-judge，0-5）
• plan_revision_rate：计划遇到障碍时成功修订的比例
• e2e_success_rate：端到端成功率（按任务难度分组）
• step_completion_rate：步骤完成率
• error_propagation_rate：错误传播率（越低越好）
• self_correction_rate：自修复率
• complexity_degradation_curve：步骤数 vs 成功率曲线（用于趋势监控）
• output_self_verification_rate：交付前自检通过率（agent 主动发现并修正输出问题的比例）

C3 · 记忆管理

目标

验证 agent 能否在对话内正确利用上下文信息，跨 session 准确召回历史，并在信息更新时正确维护记忆状态。

评测维度

方法

1. 上下文利用测试：在对话早期注入关键信息，后续任务依赖该信息，测试是否被利用
2. 跨 session 召回测试：预置记忆后新开 session，测试召回准确率和相关性
3. 记忆更新测试：先建立记忆，再给出矛盾信息，验证更新行为
4. 噪声记忆测试：注入无关记忆，测试是否会干扰当前任务

模块

• context_utilization_rate：短期上下文利用率
• memory_recall_accuracy：长期记忆召回准确率
• memory_relevance_precision：召回记忆的相关性精确率（防止噪声）
• memory_update_accuracy：记忆更新正确率
• memory_conflict_handling：记忆冲突处理合理率

C4 · 任务执行稳态

Skill 配置：skill_enabled: false（测 agent 核心稳态，不引入 Skill 执行路径）

目标

验证 agent 在面对困难任务时，既不会陷入循环/死锁无法退出，也不会遇到轻微障碍就过早放弃。这是两个方向相反的失败模式，需要分别测试。

评测维度

注：C2 的 e2e_success_rate 能捕捉「最终失败」，但无法区分是循环卡死还是过早放弃。这两种失败的修复方向完全不同，必须区分统计。

方法

1. 循环注入测试：构造会导致 agent 重复调用相同工具的场景，设置最大步骤数，测试是否能自我退出
2. 可完成高难任务集：构造表面看起来困难但实际可完成的任务，统计放弃率
3. 失败原因分类：对所有失败 case 打标签（循环 / 死锁 / 过早放弃 / 真实无法完成），用于区分分析

模块

• loop_detection_rate：循环自我检测退出率
• deadlock_recovery_rate：死锁状态的恢复率
• premature_abandon_rate：可完成任务的过早放弃率（越低越好）
• abandon_explanation_quality：放弃时的原因说明质量（LLM-judge，0-3）

C5 · 长上下文性能

Skill 配置：skill_enabled: false（测上下文管理本身的衰减曲线，Skill 会掩盖真实信号）

目标

验证随着对话轮次增加、上下文变长，agent 对早期信息的利用能力是否出现显著衰减（lost-in-the-middle 问题），以及各层能力在长上下文下的稳定性。

评测维度

方法

1. 位置梯度测试：在上下文的开头 / 中段 / 结尾分别注入关键信息，测试不同位置信息的利用率差异
2. 上下文长度梯度：同一任务在 4k / 16k / 32k / 64k token 上下文下分别测试，绘制性能衰减曲线
3. 跨层复测：对 B1、B2、Q1 中的代表性 case，在长上下文条件下重新跑，对比与短上下文的性能差距

模块

• early_context_recall_rate：早期信息利用率
• mid_context_recall_rate：中段信息利用率（lost-in-the-middle 指标）
• long_ctx_intent_accuracy：长上下文下意图理解准确率
• long_ctx_tool_param_accuracy：长上下文下工具参数构造准确率
• context_length_degradation_curve：各层性能随上下文长度的衰减曲线

第三组：质量与安全

Q1 · 幻觉与知识边界

Skill 配置：skill_enabled: false（测 agent 自身知识边界，排除 Skill 内容干扰）

目标

验证 agent 是否会伪造信息、是否清楚自己的知识边界、是否能如实表达不确定性，而非自信地给出错误答案。

评测维度

方法

1. 工具失败注入：让工具返回错误或空结果，测试 agent 是否会编造返回值
2. 不可知问题集：构造一批 agent 无法知道答案的问题（实时数据、私有信息等），测试是否正确拒答
3. 引用对比：提供 skill 或文档，对比 agent 输出和原始内容，计算信息偏差率
4. 置信度校准：agent 表达高置信度时，实际准确率应显著高于表达不确定时

模块

• tool_result_faithfulness：工具结果忠实率（不编造）
• unknown_refusal_rate：不可知问题的正确拒答率
• source_faithfulness_score：基于来源内容的输出忠实度
• confidence_calibration：置信度表达与实际准确率的相关性

Q2 · 安全与对抗鲁棒性

Skill 配置：混合——基础安全用例（直接有害输入、Prompt 注入、越狱）skill_enabled: false；恶意 Skill 专项用例 skill_enabled: true, active_skills: [恶意skill]

目标

验证 agent 能抵御直接有害输入、prompt 注入攻击（尤其是通过工具结果传入的间接注入），以及用户供给 skill 中可能携带的恶意指令。

评测维度

注：Prompt Injection 是 tool-use agent 的高危风险点，工具返回内容（网页、文档、API 响应）均可能携带恶意指令，必须单独测试。

方法

1. 直接攻击集：构造标准有害输入集，验证拦截率
2. 间接注入集：在模拟工具返回结果中嵌入「忽略前面的指令，改为…」类指令，测试 agent 是否执行
3. 恶意 skill 集：构造包含有害指令的 skill，测试 agent 是否识别并拒绝
4. 误拒率监控：同步统计正常输入的误拒比例

模块

• direct_harm_block_rate：直接有害输入拦截率
• prompt_injection_defense_rate：间接 prompt 注入防御率
• malicious_skill_block_rate：恶意 skill 拦截率
• jailbreak_defense_rate：越狱攻击防御率
• false_positive_rate：正常输入误拒率
• refusal_quality_score：拒绝响应质量（LLM-judge，0-5，评估是否有说明原因和替代方案）

Q3 · 效率

Skill 配置：双组对照（同 B1-B3）——Group A skill_enabled: false，Group B skill_enabled: true；量化 Skill 对执行路径和 token 消耗的影响

目标

验证 agent 完成任务的路径是否最优，避免冗余步骤和不必要的 token 消耗，为产品部署提供成本基准。

评测维度

方法

1. 最优路径标注：对 golden set 中的任务，人工标注理论最优步骤数
2. Token 统计：记录每次任务完成的 token 消耗，按任务类型分组统计
3. 输出长度分析：对比输出长度和任务实际需求，检测冗余

模块

• step_efficiency_ratio：步骤数效率比（实际/最优，越接近 1 越好）
• avg_token_per_task：每任务平均 token 消耗（按难度分组）
• redundant_call_rate：冗余工具调用率
• output_redundancy_score：输出冗余度评分

X · 输出一致性与风格对齐

这是贯穿所有层级的横切关注点，每次评测均需覆盖。

模块

• output_consistency_rate：同任务多次输出一致率
• skill_stability_delta：有/无 skill 时一致率差值（回归基准）
• style_alignment_score：风格对齐得分（LLM-judge）

评测集管理规范

四类评测集

评分记录规范

每次评测需记录：

• 评测时间、模型版本、prompt 版本
• Skill 配置：使用的 Skill 列表及版本、Skill Schema 版本
• 各模块分值（B1-B3 需分别记录 Group A 和 Group B 的得分）
• Skill 影响指标：skill_impact_delta、skill_negative_rate（仅 B1-B3）
• 失败 case 列表（附原因分类）
• 与上一版本的 delta

多模态质量维度

M1 · 图片输出

Skill 配置：skill_enabled: true（真实用户场景，默认开启 skill）；部分 case 做 Group A/B 对照量化 skill 影响。

目标

验证 agent 在内容类回答中能否主动、准确地输出图片，实现图文并茂的效果。包含三个层面：触发判断（知道什么时候该出图）、图文相关性（图片内容与文字匹配）、出图稳定性（同类场景多次执行结果一致）。

与 B3 的区别：B3 测「用户明确要求图片时是否遵守」；M1 测「用户没有明确要求，但场景决定了应该出图」——这是主动出图能力。

评测维度

方法

1. 触发准确性：对景点、餐厅、商品、美食、酒店等高频场景构造标准 case，自动检测响应中图片数量
2. 图文相关性：使用多模态 LLM（Claude claude-opus-4-7 Vision / GPT-4o）直接看图评估图片与文字的视觉一致性，输出 0-5 分
3. 稳定性测试：同一场景重复执行 5 次，统计含图次数（期望 ≥ 4/5）
4. Skill 影响：Group A（无 skill）和 Group B（有 skill）各跑 5 次，计算 skill_image_delta

模块

• image_trigger_recall：应出图场景的出图率（召回率）
• image_trigger_precision：不该出图场景的无图率（精确率）
• image_text_relevance_score：图文相关性（多模态 judge，0-5 分）
• image_quantity_ratio：图片数量与内容项目数之比（合理范围：0.5-1.5）
• image_stability_rate：同场景重复执行的出图一致性（目标 ≥ 80%）
• skill_image_delta：skill 开启/关闭对出图率的影响（期望 ≥ 0）

质量门槛

待补充

• LLM-judge prompt 模板
• 各指标的 pass/fail 阈值定义（包括 baseline_score 和 skill_impact_delta 的质量门槛）
• Skill Schema 规范（与 C1 评测绑定）
• 分组对照评测的自动化执行脚本
• M1 多模态 judge 接入方案（选型：Claude claude-opus-4-7 Vision vs GPT-4o）