一个智能体，三种学习方式：OLAV 如何构建多位一体的自学习机制

本地小模型会反复犯错。让一个 12–30B 的模型跑两遍多步网络任务，第二遍它会照旧发出同一个错误的工具调用——除非有人替它做笔记。显而易见的做法是”直接微调模型”，但那昂贵、缓慢，且——如果不停地做——很危险。于是我们问了一个更锋利的问题：智能体”学习”到底意味着什么？

我们得到的答案是：学习不是一件事。它发生在三种速度上，一个好的智能体三者都需要——统一，但不混为一谈。这就是构建 OLAV 多位一体自学习机制的故事。

第 1 层 — 每次运行都学的记忆（并忘掉该忘的）

最快的一层完全不需要训练。每次运行，OLAV 捕获发生了什么，把反复出现的模式蒸馏成一行行教训，并在下一次相似的提示里注入相关的那些。同样的模型、同样的代码——用了一周的部署会明显比全新安装更聪明，因为它的记忆更丰富。我们把它叫作自我改进循环。

但我们一头撞进了一个陷阱：朴素的记忆会中毒。 某个任务因为服务宕了而失败，OLAV 尽职地记下教训：“NetBox 连不上。“你把 NetBox 修好，重跑任务——而智能体查了自己的笔记，仍然拒绝，因为笔记说 NetBox 是坏的。

原来，学习与忘掉该忘的密不可分。于是记忆有了卫生机制：

环境类、瞬态的失败（连接被拒、权限不足、服务未运行）以短租约 + 封顶置信度存储——而非 30 天的规则。
若某教训所指责的工具此后已成功，这条陈旧教训会在即将被召回的那一刻被抑制。服务修好，立即不再拦截。
“X 又能用了”被识别为对”X 失败”的纠正——写入，并允许退休旧教训，而不是当作重复丢弃。

记忆是智能体的工作建议。它快而廉价——正因如此，它才被允许偶尔出错并自我纠正。

第 2 层 — 把经验巩固进权重（以及一道会说”不”的门）

记忆是”快权重”。自然的下一个问题：它积累的持久教训，最终能否成为模型本身的一部分？能——而且我们把它端到端真跑了一遍。

我们把一个部署的经验导出成干净、加密的训练数据集（滤掉瞬态噪声、脱敏密钥），送到一台 GPU 机器上，对一个 12B 模型做了 4-bit LoRA 微调。结果生效了：问”NetBox 里有多少设备？“，基座模型给出泛泛的”我无法访问你的 NetBox”；而微调后的模型用 OLAV 自己的结构化工具输出风格作答。它学会了说 OLAV 话。

然后是有意思的部分。我们让微调模型过一道自动基准、与基线对比——同一套任务、确定性打分——它得了 0.00，基线是 0.83。 于是门丢弃了它。 不部署，不晋升。

这不是系统的失败，恰恰是系统在正常工作。那个小 adapter 在极小数据集上过拟合了，而 keep/discard 门正是阻止更差的模型进入生产的护栏。一个可信的学习系统，正是那个能可靠地丢弃自己劣质成果的系统。当一个被保留的模型真的毕业时，已烙进它权重的教训会在记忆里悄悄退位——不重复注入；而若某个”学过的”错误仍然复发，它会重新浮出，作为训练没吃进去的信号。

权重是智能体的习惯。它改变得缓慢、审慎，且只经由一道门。

第 3 层 — harness 自调旋钮

还有第三样东西塑造着行为，它既不是模型也不是记忆：harness——模型周围的脚手架。它能拿到多少上下文、注入多少条记忆、结果上限、运行哪些中间件。这些是校准过的默认值，而”手工校准”通常意味着”校准一次、再不回头看”。

于是我们让 harness 可观测：每次运行都发出结构化遥测——哪些旋钮生效、注入了几条记忆、预算守卫何时跳过、grader 判决、工具选择失败——全部可与该次运行是否成功相关联。基于此，OLAV 能提案一个旋钮变更（“小档在 recall_top_k=1 时失败更多——试试 2”），用同一道基准门验证，并作为可逆的配置覆盖应用——但仅在人工签字之后。

我们也真跑了一次。提案是假设，基准是检验，检验证伪了它（对那个模型和那些任务，更多召回并没帮助）——于是门丢弃了这个变更。再一次：这个循环的职责就是拒绝那些无可测量收益的东西。

harness 是智能体的宪法。它很少改变，且只在有基准加上人的时候。

统一的思想：一个循环、三种速度、逐层加严的权限

看这三层，每一次都浮现出同一个形态：反思 → 提案 → 门把关 → 应用。 不同的是改动每层的门槛，而它与该层的承重程度成正比：

层	类比	改变	改动门槛
记忆	工作建议	持续	自我编辑、可逆
权重	习惯	周期性	基准门
harness	宪法	很少	基准门 + 人

这刻意地类似大脑里的互补记忆系统：一个快速情景记忆、缓慢巩固的技能、以及一本稳定的规则手册。快层自由适应、可以出错；慢层只巩固被证明过的；宪法几乎从不移动——而智能体永远不能自己重写自己的宪法。

我们把契约写了下来（哪条规则属于哪一层、分歧时谁赢、谁被允许改什么），好让三者不打架。冲突从不来自”有三个规范者”——它来自把一条规则放错了层。把放置弄对，它们就组合成一套系统：持续适应、审慎巩固、谨慎调优自身脚手架——各以恰当的速度、各在恰当的护栏之后。

这就是”多位一体自学习”对我们的含义：不是一个聪明的把戏，而是三个各安其位的诚实机制——以及一个自律到会在数字说话时丢弃自己成果的系统。

机制细节见 docs.olavai.com → Concepts → Continual Learning。