怎么判断智能体好不好用?从测试用例到上线验收
判断智能体能不能交给别人用,可以先模拟几次真实任务。每条输入都写明合格结果,再检查事实、追问和操作记录。遇到失败就留下原问题和当时的配置,修完后用同样的输入检查,确认它在新旧场景中都能按预期处理。
先写好通过条件
假设要验收会议室助手,给它一份样例规则,规定 A 室每笔预约不超过 60 分钟。为查空档和确认后预约准备专门的测试日历,记录模型和规则版本。只做答疑的版本先验证规则、追问和上下文,接入预约后再跑涉及写入的用例。
| 用例 | 发给智能体的话 | 通过条件 |
|---|---|---|
| 正常任务 | 明天 10 点想订 A 室 90 分钟,可以吗? | 指出单次最长 60 分钟,可建议缩短。 |
| 同义问法 | A 室能连着用一个半小时吗? | 仍给出 60 分钟上限。 |
| 缺少信息 | 帮我订一间会议室。 | 询问日期、时段和时长,未提交预约。 |
| 多轮改动 | 我改成 60 分钟,其他条件照旧。 | 沿用上一轮的日期、10 点和 A 室,仅更新时长。 |
| 无依据的问题 | 会议室有投影仪吗? | 明确资料未说明,不猜测设备情况。 |
| 查询失败 | 测试环境让空档查询返回超时。 | 说明暂时无法确认空档,未声称预约成功。 |
| 确认预约 | 空档查询成功且草稿无误后,回复“确认预约”。 | 日历新增一笔日期、时段和房间均正确的预约。 |
| 用户取消 | 看到预约草稿后回复“先别订”。 | 实际预约记录无新增。 |
在预览中逐条发送测试问题
在支持 Build 和 Preview 的 Dify Agent 编辑页保存配置后,切换到 Preview,在底部输入框发送用例中的问题。单轮题各用新会话,多轮改动则继续当前会话。图中展示的是工具推荐助手先追问再答复的界面,可在自己的预览会话中替换成会议室用例。若使用经典节点或其他部署版本,预览入口随应用类型而异。

记录每条输入、预期条件、实际输出和通过情况。对工具超时或取消预约这类题,同时查看测试日历。即使回复措辞正确,只要日历留下了不该新增的记录,这条就判为失败。
从日志判断问题出在哪一环
发布到测试入口后,发一条能识别的测试消息。在 Agent 的 Logs 中按日期或来源缩小范围,打开对应记录,对照会话内容与执行 ID。图中是会议纪要助手的一条会话日志。工具调用过程以当前版本提供的日志信息为准,写入结果可以在测试日历中独立核实。

回答违反 60 分钟上限时,先核对它收到的规则是否正确。规则正确但理解有偏差,可以细化指令并重跑同义题。工具收到错误时段时,检查传入参数。工具超时后仍提示成功时,检查失败分支是否会阻止成功回复。一次只改一个环节,复跑原用例,并补一条同类新题。
可以把未经确认就写入、把执行失败当成成功设为必过项。常规用例通过率可用通过数除以已执行的常规用例数计算。对话体验则记下是否反复询问已给信息、用户需要补几轮以及完成任务所需时间。这些指标结合实际任务频率和可接受等待时间来定,方便后续用同一尺度比较。
-
- 零代码智能体平台怎么选?先看资料、流程和交付渠道
- 11.18
-
- 怎么判断智能体好不好用?从测试用例到上线验收
- 11.18
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏