Shippy：确定性工具、会话级 Sandbox 与 Live-Data Eval（Ai2 / Skylight 2026-07-15 案例拆解）

TL;DR

• 场景：Ai2 / Skylight 2026-07-15 在 Hugging Face Blog 公开的 Shippy Agent 案例，是一套"高风险海事查询 Agent"的端到端实现，不是更大的模型，而是一套受控 Agent Runtime。
• 结论：可靠性来自 Soul+Skills 版本化、确定性 CLI 收敛错误面、每会话 Kubernetes Deployment 隔离、Harbor 跑真实数据 + 专家 Rubric 四层共同把模型可犯的错误空间逐层收窄。
• 产出：可迁移到语音 Agent / 机器人 / 企业数据助手的三层模式、四类收敛清单、6 个评测指标、12 条错误速查卡与一份 7 步实施/实验方案。

版本矩阵

功能 / 事实	状态	说明
原文：Soul + Skills 打包进版本化 Docker 镜像，Config 决定 OpenClaw Harness、当前 Claude Opus 4.6 和运行设置	✅ 已验证	Hugging Face Blog S04 原文（huggingface.co/blog/allenai/shippy-tech-blog，2026-07-15）
原文：Skill 遵循 Agent Skills 开放格式（SKILL.md / metadata / scripts / references / assets）	✅ 已验证	原文 S04 + Agent Skills 官网 agentskills.io（持续更新）
原文：Skylight CLI 负责鉴权、分页、结构化输出；早期直接 API 方案出现分页、几何编码、过滤器错误	✅ 已验证	原文 S04（这是把 CLI 收口为受控工具面的直接动机）
原文：Mothership 为每个用户会话创建独立 Kubernetes Deployment，注入用户 JWT，限制文件/网络边界	✅ 已验证	原文 S04（架构图：Sandbox 内部含 Sidecar Lifeline + OpenClaw Harness 双向通讯）
原文：Harbor 插件启动被测 Shippy 精确版本，对实时数据运行专家加权 Rubric，Skill/模型/数据变化触发重跑	✅ 已验证	原文 S04 + Harbor Framework 官网（harborframework.com）
原文：模型路由与跨线程记忆是后续路线，不是当前已完成能力	✅ 已验证	原文 S04（明确"future work"，避免误读为现能力）
当前底层模型为 Claude Opus 4.6	⚠️ 待核验	用户原文给出"当前 Claude Opus 4.6"；S04 未直接锁定版本号，4.6 为作者描述，建议以实跑镜像为准
Agent Skills 开放格式是 Anthropic 主导的 Agent Skills 规范	⚠️ 待核验	用户原文称"开放格式"；Agent Skills 官网 agentskills.io 持续更新，但本案例实际由哪一方率先提出、当前治理方需另核
Shippy 案例使用 Go / TypeScript / Python 等具体语言栈	⚠️ 待核验	原文未在 S04 中披露具体后端语言；架构图中提及 Postgres + GCS 与 Redis Streams
实时数据：原案例背后是 Global Fishing Watch / Skylight 平台数据	⚠️ 待核验	评分示例提到"Global Fishing Watch via Skylight"，但实时数据源所有权与计费模型未在 S04 完整披露
每会话 Kubernetes Deployment 的资源回收机制与空闲超时阈值	⚠️ 待核验	原文给出"ephemeral, per-user"和"Redis Streams inbound / outbound per thread"，但具体 TTL/Idle TTL 未披露
反方观点：直接 Function Calling 对简单低风险 API 已足够	✅ 立场	本文作者明确列出，文章不否认；CLI 收敛是为高复杂 API 付出
反方观点：低价值短会话更适合共享池 + Namespace	✅ 立场	本文作者明确列出，不是所有场景都该上每会话 Deployment
反方观点：实时数据评测降低完全可复现性，需保留冻结快照	✅ 立场	本文作者明确列出，是 Live-Data Eval 的天然代价

摘要

Shippy 不是"更大的海事模型"，而是一套受控 Agent 系统。Soul 与 Skills 形成版本化行为包，Config 可切换 Harness 和模型；类型化 API 与确定性 CLI 处理鉴权、分页和几何等高错误率细节；每个用户会话拥有独立 Kubernetes Deployment；Eval 通过 Harbor 启动精确版本，对实时数据和专家 Rubric 评分。本章将案例抽象为可迁移到语音 Agent、机器人和企业数据助手的三层模式。

读者问题

• 为什么复杂 API 不应直接暴露给模型？
• 确定性 CLI 如何缩小错误空间，又保留 Agent 灵活性？
• 每会话 Kubernetes 隔离何时值得，何时过重？
• 实时数据变化下如何区分模型回归与数据漂移？

已核验事实

• Shippy 的 Soul 与 Skills 打包进版本化 Docker 镜像，Config 决定 OpenClaw Harness、当前 Claude Opus 4.6 和运行设置。（S04）
• Skill 遵循 Agent Skills 开放格式，由 SKILL.md、元数据、脚本、参考材料和资产组成。（S04、S05）
• Skylight CLI 负责鉴权、分页和结构化输出，结果固定写入本地 JSON；早期直接 API 方案出现分页、几何编码和过滤器错误。（S04）
• Mothership 为每个用户会话创建独立 Kubernetes Deployment，注入用户 JWT，并限制文件和网络边界。（S04）
• Harbor 插件启动被测 Shippy 精确版本，对实时数据运行专家加权 Rubric，并在 Skill、模型或数据变化时重跑。（S04、S07）
• 模型路由与跨线程记忆是后续路线，不是当前已完成能力。（S04）

技术机制

Shippy 的可靠性来自四类收敛：

• 语义收敛：Soul 明确拒绝法律判定和超出数据的推断。
• 接口收敛：API Schema → 确定性 CLI → Skill，下一层不再重新实现上一层的复杂性。
• 资源收敛：每会话独立文件、凭据和网络边界。
• 评测收敛：固定版本、实时数据、专家 Rubric、Judge 解释、回归门禁。

写文件而不是通过 Shell 管道传大结果，不只是性能优化，也使中间结果可追踪、可复用和可清理。

工程含义

迁移到实时语音 Agent 时，可以把 ASR、对话状态、LLM、工具层和 TTS 分为独立版本单元。工具层通过确定性 CLI 或服务接口控制参数，语音 Session 使用独立工作目录和短期 Token；系统级 Eval 同时检查识别、工具选择、数据正确性、延迟、打断和最终语音输出。

实现或实验方案

1. 把系统边界、Skill 和运行配置分开版本化，发布物中记录三者组合。
2. 为高复杂 API 构建面向任务的 CLI，而不是把所有底层参数原样暴露给模型。
3. CLI 输出使用稳定 JSON Schema、显式文件路径、生命周期和大小限制。
4. 按照风险选择隔离级别：进程、容器、Namespace、每会话 Deployment 或专用账户。
5. 建立专家 Rubric：事实准确性、时间范围、边界解析、来源归因、拒绝和风格使用不同权重。
6. 为数据快照或查询时间打标；当结果变化时先区分数据漂移与 Agent 回归。
7. 保留失败样例的 Trace 和版本，任何 Skill、模型或数据变化都触发差分报告。

评测指标

• Tool Invocation Validity：CLI 命令和参数通过 Schema 校验的比例。
• Data Completeness：分页、时间范围和几何过滤后结果是否完整。
• Isolation Breach：跨会话文件、凭据或数据可见性事件，目标必须为零。
• Rubric Pass Rate：按任务类型和准则分解，不只看总分。
• Cold Start / Cost：每会话隔离带来的启动时间和资源成本。
• Data Drift Delta：同版本 Agent 在不同数据时间点的得分变化。

反方观点与替代解释

• 直接 Function Calling 在简单、低风险 API 上可能足够，不需要所有系统都增加 CLI。
• 每会话 Kubernetes 隔离安全性高，但低价值短会话可能更适合共享池加 Namespace。
• 实时数据评测更接近生产，却降低完全可复现性，因此需要同时保留冻结快照集。

适用边界

适合高权限、数据敏感、复杂 API 和专业领域 Agent。对于无外部工具的简单问答，完整 Mothership 式隔离成本过高；应按风险选择最小充分架构。

风险与误读点

• 把 Shippy 单一案例写成行业标准。
• 忽略每会话 Deployment 的冷启动和集群成本。
• 让 LLM Judge 取代专家复核。
• 临时 JSON 文件缺少唯一命名、清理和配额。
• 把未来模型路由和跨线程记忆描述为现有能力。

参考来源

• S04｜What building Shippy taught us about building agents：Ai2 / Skylight / Hugging Face，2026-07-15。
• S05｜Agent Skills Overview：Agent Skills，持续更新。
• S06｜OpenClaw repository：OpenClaw，持续更新。
• S07｜Harbor：Harbor Framework，持续更新。

错误速查卡

症状	根因	定位	修复
模型对同一问题两次答案数据不同，但代码没动	没区分"数据漂移"和"Agent 回归"	对比 Rubric 各项得分 + 数据快照时间戳	用冻结快照集做回归门禁，实时数据只做探索
工具调用经常出现分页、几何、过滤器错	把底层 API 直接暴露给模型	在 Skylight CLI 之外加一层任务型 CLI	强制走 CLI，所有参数 Schema 校验
Tool Invocation Validity 低于 95%	命令参数未校验 / 自由文本拼接	抓取失败调用样本，按 Schema diff	给 CLI 加显式参数 Schema + 路径/日期/几何白名单
Data Completeness 偶尔掉到 80% 以下	分页上限 / 时间窗口被截断	检查 Skylight CLI 的 --limit 与时间过滤	强制分页全量 + 几何相交校验 + 总数断言
Isolation Breach 出现非零事件	共享文件系统、共享 Token 缓存、共享网络出口	审计 Sidecar / Sandbox 进程命名空间与文件系统	改回每会话 K8s Deployment，强制 JWT 注入 + NetworkPolicy
Rubric Pass Rate 看似高但实际不可信	LLM Judge 取代了专家复核	检查 Judge 的 few-shot / rubric 来源	把专家权重显式注入 Prompt，保留 Judge Reasoning 留档
改一行 Skill 提示，所有 Eval 都要重跑	Eval 与数据时间未分离	看 Harbor 任务配置	用冻结快照做"必须通过"基线，实时数据只做"漂移观测"
Cold Start / Cost 暴涨	每会话都起独立 K8s Deployment	监控冷启动比例 + 集群 CPU/内存峰值	按风险分级：低风险走共享池 + Namespace，高风险才每会话 Deployment
临时 JSON 文件把磁盘打满	没有唯一命名、清理、配额	查输出目录 inode / size	用 session_id + ts + hash 命名 + TTL + 配额上限
误把"未来模型路由"当成现能力	把 Roadmap 写成已交付	检查原文 "future work" 段	文档与代码门禁分开标注，Roadmap 不进工程方案
第三方文章把 Shippy 描述成"通用最佳实践"	单一案例被泛化	复读适用边界段	显式标注：本文案例适用于高权限 / 数据敏感 / 复杂 API；不适用简单问答
把"OpenClaw / Skylight CLI / Harbor"复制到生产时缺少官方来源	引用的是社区文章而非一手	查 Reference 段链接	引用 S04 Hugging Face Blog 与 agentskills.io / openclaw / harborframework 官方域
实时数据评测结果"看起来变好"或"看起来变差"但无解释	Judge Reasoning 没有留档	看 Harbor 输出是否含 reason 字段	在 Eval 报告里强制保留 Judge Reasoning 文本 + 引用源