Evals 评估体系

同一输入可能走不同路径，传统测试不够用。

从真实案例出发，覆盖典型、边界与对抗样本。

任务成功率、工具选择准确率、人工介入率、重试率与单任务成本。

代码断言、LLM-as-Judge 与人工评审的组合。

不只看答案对不对，也要看过程合不合理。

把失败归到工具、数据、推理、规则，而不是“换个模型试试”。

离线测试、灰度、A/B，以及每次变更后的回归检查。