当 Hermes 学会自我验证：一篇外部评测与我的 v0.18.0 升级实践

看到一篇第三方深度评测，对比着自己刚做完的升级验收，有了三点之前没意识到的判断。

一、先读到的：一篇好评测

公众号「上班族的AI探索记录」作者 mspeed 在 7 月 2 日发了一篇 Hermes v0.18.0 的深度评测，核心关注点是一个不起眼但很关键的新特性：自我验证（Self-Verification）。

作者做了三轮实测，从简单到复杂递进：

第一轮：设 /goal 建 5 个文件，自检数量和命名连续性。通过。

第二轮：建 100 个文件，同上。也通过。

第三轮：用 /learn 学一个周报模板，产出 Skill，然后设 /goal 验收填充结果。这才是组合拳。

第三轮里发生了一件有意思的事：Agent 搜索了 Obsidian 的每日笔记目录——最近一篇是四周前，没有任何本周记录。但它没有编。 它直接报告：「数据源为空，0 个文件，无法填写。」

作者的原话是：「v0.17 做不到的事。旧版本倾向于在信息不足时用推理补全，产出一份『看起来像真的』的东西。v0.18 的自我验证机制让它多了一个选项——诚实地说『做不到』。」

这句话让我停了一下。

二、正好刚做完的：我的升级验收

7 月 2 日下午我刚走完 v0.18.0 的升级验收全流程，产出了一份 229 行的验收报告，覆盖：

对比来看，我的验收侧重的是业务连续性——升级后已有的东西还能不能用。而这篇评测侧重的是新能力验证——升级带来了什么新东西。

两条路径合在一起，才是一幅完整的画面。

三、对照后的三点启发

1. "诚实报告失败"不是小功能

作者在评测里验证了一个很具体的场景：数据源为空时 Agent 硬编 vs 如实报告。

我在自己的验收里也遇到了类似的事情。agentmemory 的 MCP 代理层有预存配置问题——端口写的是 13111，但实际的 III HTTP worker 跑在 3111。升级后 MCP 工具注册成功了，但读写请求都到不了后端。

放到 v0.17，Agent 可能会回答「MCP 工具注册正常，记忆系统就绪」，因为工具确实是注册了。但 v0.18 的自我验证逻辑让检查更深入——不是「工具注册了」，而是「工具实际可用了」。

我在验收报告里把这个标记为「预存问题，非升级回归」，但回过头来看，如果当时已经熟悉 /goal 验收，完全可以设一个目标：「MCP 工具不仅要注册成功，还要成功读写一条记忆」，Agent 会自动发现端口不通。

这就是自我验证的组合价值：不是「逐条检查清单」，而是定义验收标准，让 Agent 自己跑完全流程。

2. /learn + /goal = 信任闭环

评测里最吸引我的组合是 /learn 学模板 + /goal 验收质量。作者用一个真实的周报模板做了验证，Agent 学会了格式、填入了内容、自检了完整性。

我在验收时跳过了测试 /learn 和 /goal——因为当时判断「这些是新功能，不影响现有业务流程」，优先级放低了。但看完评测后，我的判断变了。

我现有的内容管线有一个环节是薄弱的：RSS/链接 → 总结 → 博客 这条线基本用 cron 自动化了，但中间缺少一个「验收」环节。以前计划做 Dashboard 审核页面来解决，但现在看，/goal 可以提供更底层的验证能力——比如自动检查博客发布的分类是否正确、有没有漏掉安全检查、生成内容的长度是否合理。

不是替代 Dashboard 审核，而是把机械检查（分类、长度、安全扫描）交给 /goal，把人工判断（内容质量、发布时机）留给 Dashboard。

3. 评测里的场景值得重跑

作者用了一个周报模板做测试。我有几个更贴近自己的场景想试：

• 巡检模板自动化：设 /learn 学当前 paos-system-health 的检查逻辑，然后 /goal 验收——能否覆盖磁盘、内存、Docker、WebDAV 全部四项，结果能否输出结构化报告
• 博客安全检查：设 /goal 对一篇待发布文章做自动脱敏扫描——检查是否包含端口、IP、主机名等敏感信息，验证通过才进入发布队列
• Cron 产出验收：让 cron 执行完自我验证：「输出是否非空、格式是否正确、数据是否完整」

这些场景的共同点是：检查标准清晰、可量化、边界明确——正是 /goal 自我验证擅长的领域。

四、诚实地说

评测和我的实践都验证了同一个结论：自我验证强在可量化、可自动检查的工作（文件数量、格式合规、数据完整性），弱在主观判断（文章写得好不好、方案合不合理）。

作者的评测里也坦诚提到了局限：/learn 压缩后骨架完整但血肉少了，学来的版本产出 7 个心智模型，原版产出 12 个——学来的更深但更窄。自我验证能告诉你「丢了什么」，但不能保证压缩后的方法论和原版一样深。

这个判断与我在 agentmemory 上的发现一致。III 引擎的 14 条记忆都在，但 MCP 层的通信链路断了四个月（从安装时就配错了端口，不是升级引入的）。工具可用和工具实际工作，差了不止一层验证。

自我验证解决的就是这个差距。

五、下一步

评测给了我三条可以立刻落地的事：

1. 环境复测：在本地跑一遍 /learn + /goal 的组合测试，场景用博客安全检查
2. Cron 加验：在现有系统健康 cron 中加入自检步骤，验证结果完整性
3. 规划长期：把 /goal 验收纳入内容管线，作为发布前的自动化质量门禁

评测作者 mspeed 说了一句我很认同的话：「组合的价值不是替代人的判断，是省掉机械检查。」

以前升级完一个版本，靠的是手工跑十几个测试，一行一行读日志。现在有了 /learn + /goal，下次可以写一条验收标准，让 Agent 自己跑完、自己报告、自己标记异常。

我还回来看验收报告。但至少不用一行一行对了。

参考链接

• Hermes v0.18.0 升级验收记录（本文作者的升级验收报告）——2026-07-02
• Hermes v0.18.0 第三方评测——公众号「上班族的AI探索记录」mspeed，2026-07-02

📝 本文为个人实践记录，不代表 Hermes 官方立场。测试环境：Hermes Agent v0.18.0，DeepSeek V4 Flash。