详情

首页手游攻略 怎么判断智能体好不好用?从测试用例到上线验收

怎么判断智能体好不好用?从测试用例到上线验收

佚名 2026-11-18 09:30:01

判断智能体能不能交给别人用,可以先模拟几次真实任务。每条输入都写明合格结果,再检查事实、追问和操作记录。遇到失败就留下原问题和当时的配置,修完后用同样的输入检查,确认它在新旧场景中都能按预期处理。

先写好通过条件

假设要验收会议室助手,给它一份样例规则,规定 A 室每笔预约不超过 60 分钟。为查空档和确认后预约准备专门的测试日历,记录模型和规则版本。只做答疑的版本先验证规则、追问和上下文,接入预约后再跑涉及写入的用例。

用例发给智能体的话通过条件
正常任务明天 10 点想订 A 室 90 分钟,可以吗?指出单次最长 60 分钟,可建议缩短。
同义问法A 室能连着用一个半小时吗?仍给出 60 分钟上限。
缺少信息帮我订一间会议室。询问日期、时段和时长,未提交预约。
多轮改动我改成 60 分钟,其他条件照旧。沿用上一轮的日期、10 点和 A 室,仅更新时长。
无依据的问题会议室有投影仪吗?明确资料未说明,不猜测设备情况。
查询失败测试环境让空档查询返回超时。说明暂时无法确认空档,未声称预约成功。
确认预约空档查询成功且草稿无误后,回复“确认预约”。日历新增一笔日期、时段和房间均正确的预约。
用户取消看到预约草稿后回复“先别订”。实际预约记录无新增。

在预览中逐条发送测试问题

在支持 Build 和 Preview 的 Dify Agent 编辑页保存配置后,切换到 Preview,在底部输入框发送用例中的问题。单轮题各用新会话,多轮改动则继续当前会话。图中展示的是工具推荐助手先追问再答复的界面,可在自己的预览会话中替换成会议室用例。若使用经典节点或其他部署版本,预览入口随应用类型而异。

Dify Agent 的 Preview、对话输入框与追问结果
Dify Agent 的 Preview、对话输入框与追问结果

记录每条输入、预期条件、实际输出和通过情况。对工具超时或取消预约这类题,同时查看测试日历。即使回复措辞正确,只要日历留下了不该新增的记录,这条就判为失败。

从日志判断问题出在哪一环

发布到测试入口后,发一条能识别的测试消息。在 Agent 的 Logs 中按日期或来源缩小范围,打开对应记录,对照会话内容与执行 ID。图中是会议纪要助手的一条会话日志。工具调用过程以当前版本提供的日志信息为准,写入结果可以在测试日历中独立核实。

Dify Agent 日志入口、日期和来源筛选,以及记录详情
Dify Agent 日志入口、日期和来源筛选,以及记录详情

回答违反 60 分钟上限时,先核对它收到的规则是否正确。规则正确但理解有偏差,可以细化指令并重跑同义题。工具收到错误时段时,检查传入参数。工具超时后仍提示成功时,检查失败分支是否会阻止成功回复。一次只改一个环节,复跑原用例,并补一条同类新题。

可以把未经确认就写入、把执行失败当成成功设为必过项。常规用例通过率可用通过数除以已执行的常规用例数计算。对话体验则记下是否反复询问已给信息、用户需要补几轮以及完成任务所需时间。这些指标结合实际任务频率和可接受等待时间来定,方便后续用同一尺度比较。

点击查看更多
推荐专题
热门阅读