LLM Wiki

Appearance

Built 26/04/17 09:31commit 4c9ce40

Agent Harness 设计 ​

中文 | English

摘要 ​

Agent harness 设计的核心，是在模型周围加上恰到好处的编排层，让长时间运行的工作仍然保持一致性、可验证性和可修订性，同时不断重新检验这些脚手架是否仍然必要。

核心模式 ​

  • planner 把短提示扩展成更丰富的产品或任务规格，避免实现 agent 低估问题范围。
  • generator 负责主要构建工作，通常围绕明确的契约或结构化产出执行。
  • evaluator 用独立标准和工具检查结果，给出可执行反馈，而不是自我表扬式审查。
  • 结构化产物和交接文件可以在长时运行、上下文重置或 agent 边界之间保存状态；它们也可以非常轻量，比如 session 日志、PRD、codemap 或 review 备注。
  • 极简单体循环本身也可以是一种 harness：让一个新上下文 agent 每轮只做一件最重要的事，并把 memory 外化到仓库产物中，而不是过早加入复杂编排。
  • 仓库可读性本身就是 harness 的一部分：计划、文档、工具和 review 回路都会影响 agent 能否可靠工作。
  • 只有当任务能被清楚拆分时，subagents 与 session controls 才是增益；否则它们往往先带来 token 与协调开销。

评估经验 ​

  • 自我评估通常偏宽松；独立 evaluator 更容易被调到“足够怀疑”的状态。
  • 当主观判断被转成明确标准时，评估工作会更稳定。
  • 交互式验证工具很重要，因为截图和静态检查经常看不到真正的行为缺陷。
  • 当廉价 grader、转录阅读、通过率指标和人工审查被视作不同层级时，验证回路会比“一个万能检查”更强。
  • 当旧基准已经接近饱和时，开放式真实任务加上最终确认步骤，往往比重复回放式评测更能反映真实能力。
  • 在高吞吐 agent 团队里，真正的瓶颈往往会先变成 merge 队列而不是实现速度本身，因此它们常会收敛到大量小 PR、默认 squash 与显式 review agents 的组合。

简化准则 ​

  • 每个 harness 组件都编码了一种“基础模型还做不好什么”的假设。
  • 当模型能力提升后，原来必要的冲刺拆分、多轮 QA 等机制可能会变成纯开销。
  • 简化要有节制：一次只拿掉一个组件，然后观察到底损失了哪些质量或可靠性。

环境设计经验 ​

  • harness 的质量取决于产品和运行时对 agent 是否足够可读。
  • 短路由文档加上索引化的深入文档，比单个庞大的指令文件更可扩展。
  • 架构边界、自定义 lint 和仓库内计划，本质上都是控制系统的一部分，用来维持自主工作的一致性。
  • hooks、commands 和可复用 skills 也属于环境层，因为它们可以在不拉长每次 prompt 的前提下强制执行重复检查。
  • 模型升级本身也可能迫使 harness 重新调参：更强的字面级指令遵循、更好的文件系统记忆、更高分辨率视觉能力，以及新的 effort / review 控制，都会改变 prompts、budgets 与验证回路该如何设置。
  • Harness 也可以作为带脚本、skills 与 plugin metadata 的可复用仓库包被直接分发，而不只是从文字说明里重新拼装。
  • 托管式 meta-harness 也是一种真实设计选项：有些团队只应自己拥有任务契约与环境策略，而把 loop、session durability 和工具运行时作为托管基元购买。
  • 面向团队的 managed-agent 平台又把环境层再往外推了一层：issue board、daemon 挂载的 runtime、runtime 路由，以及可分派的 agent 身份，本身都可能成为协调长时工作的 harness 界面。

接口设计经验 ​

  • 稳定接口可以跨越某一代具体 harness 实现继续存在，就像操作系统抽象能跨越底层硬件代际变化。
  • session durability 应与模型当前上下文窗口分开建模，这样恢复能力与上下文管理就不会被压缩成同一个不可逆机制。
  • 把大脑、手和 session 解耦，会比单个一体化容器更容易推理故障恢复、安全边界和规模化行为。
  • 凭证应在结构上置于生成代码运行的 sandbox 之外；这比假设模型总会遵守较窄权限范围更强。

什么时候最重要 ​

  • 长时间运行、容易逐步失去一致性的编码任务。
  • 像设计这类主观性较强、需要把“好坏”变得可打分的场景。
  • 既需要大胆规划、又需要怀疑式最终验证的产品构建。
  • 期望 agent 在低人工介入下自行开改动、做 review、合并改动的仓库。

来源 ​

相关页面 ​