Agent 信任 / Verification workflow

更新 2026-09-06 · 专题常驻,不参与日报 30 天滚动。抄结构,不抄「无数据就完全信任」。无成功率数字。

总览

需求进厨房 → Agent 按 map/skill 做 → Verification 出证据 → Eval/CI 挡假绿 → 按信任等级决定人审 / 独立验收 / auto-merge。人不再逐行当唯一 CI。

来源:Lauren Tan(poteto)× Colin Cursor 内部分享拆解 + 用户场景对照 · 更新 2026-09-06

flowchart TB
  subgraph input [入口]
    D[需求 / Bug / 信号]
  end
  subgraph kitchen [人设厨房 - EM主厨]
    EM[工程师/明哥: 定目标约束完成标准]
    MAP[Feature map / 系统地图]
    SK[Skills: verify / no-guess / 场景补丁]
    EV[Eval 题库: 改 skill 必跑]
    CI[硬护栏: lint/测试/契约/金丝雀]
  end
  subgraph agents [Agent 执行层]
    A1[实现 Agent]
    A2[验证 Agent 跑 Verification]
    A3[可选: 独立验收 Agent]
    CLOUD[Cloud Agent 接信号批量干]
  end
  subgraph gate [信任门闩]
    L1{本地自验通过?}
    L2{Eval/CI 绿?}
    L3{信任等级?}
  end
  subgraph out [出口]
    PR[开 PR]
    HUM[人审 / 独立验收]
    AM[政策内 auto-merge]
    MAIN[进 main / 发布]
  end
  D --> EM
  EM --> A1
  MAP --> A1
  SK --> A1
  A1 --> A2
  A2 --> L1
  L1 -->|否 带证据回修| A1
  L1 -->|是| L2
  EV --> L2
  CI --> L2
  L2 -->|红| A1
  L2 -->|绿| L3
  L3 -->|低: 人盯| HUM
  L3 -->|中: 验收 Agent| A3
  A3 --> HUM
  L3 -->|高且白名单| AM
  HUM --> PR
  AM --> MAIN
  PR --> MAIN
  CLOUD -.->|仅当本地同类已稳| A1
  1. 需求 / Bug / 信号进入人设厨房
  2. EM 定目标、约束、完成标准;地图 / Skills / Eval / 硬护栏就位
  3. 实现 Agent → 验证 Agent 出证据
  4. 门闩:本地自验 → Eval/CI → 信任等级
  5. 低:人审;中:独立验收;高且白名单:auto-merge
  6. 合入 main / 发布;翻车回写 skill / 题库 / CI

场景 A:万级 QPS 在线服务

Verification 不是 Playwright 点按钮,而是契约 + 负载 + 金丝雀。热路径默认永远人/发布系统终审;auto-merge 若有也只在极窄白名单。

flowchart LR
  subgraph assets [常驻资产]
    SM[服务地图: 接口/依赖/SLO/告警]
    VS[verify-online: 单测+契约+基准+金丝雀剧本]
    NG[no-guess: 必须读相关路径与指标定义]
    EQ[Eval: 历史事故复现题]
    HARD[硬CI: 类型/单测/契约/禁危险API/差分性能门禁]
  end
  subgraph run [一条需求]
    R1[改代码]
    R2[本地 verify: 单测+契约]
    R3[预发/金丝雀: 错误率延迟对比]
    R4[独立验收看证据包]
    R5[发布系统合并/放量]
  end
  SM --> R1
  VS --> R2
  NG --> R1
  R1 --> R2 --> R3 --> R4 --> R5
  HARD --> R2
  EQ --> R2
  1. 系统地图(≈Feature map):每个 RPC/HTTP:谁调用、超时、依赖、SLO、相关 dashboard/告警名;「延迟高」能映射到具体服务与探针
  2. Verification:必跑:单测、API 契约、基准(p99 回归阈值);预发:金丝雀对比错误率/延迟;失败产物:日志、火焰图、对比表——禁止只读代码声称已验证
  3. Skills:verify-online、no-guess、incident-replay、perf-budget(超预算不得 Done)
  4. Eval:固定题:已知回归、错误重试、超时放大;改 skill 重跑;新事故 24h 进题库
  5. 硬护栏:CI 红才算数;Bugbot/agents.md 只软层
  6. Cloud/并行:仅非热路径或「复现 bug」类;热路径 PR 默认不合、不 auto-merge
  7. 步骤1:人写:目标、SLO 约束、禁止事项、完成标准(含可回滚)
  8. 步骤2:Agent 读系统地图 → 改码 → 跑 verify-online

分层

系统地图(≈Feature map)

每个 RPC/HTTP:谁调用、超时、依赖、SLO、相关 dashboard/告警名;「延迟高」能映射到具体服务与探针

Verification

必跑:单测、API 契约、基准(p99 回归阈值);预发:金丝雀对比错误率/延迟;失败产物:日志、火焰图、对比表——禁止只读代码声称已验证

Skills

verify-online、no-guess、incident-replay、perf-budget(超预算不得 Done)

Eval

固定题:已知回归、错误重试、超时放大;改 skill 重跑;新事故 24h 进题库

硬护栏

CI 红才算数;Bugbot/agents.md 只软层

Cloud/并行

仅非热路径或「复现 bug」类;热路径 PR 默认不合、不 auto-merge

步骤

  1. 人写:目标、SLO 约束、禁止事项、完成标准(含可回滚)
  2. Agent 读系统地图 → 改码 → 跑 verify-online
  3. CI 硬门禁;不过回修
  4. 预发/金丝雀出证据包
  5. 独立验收只审证据+diff 风险
  6. 发布系统合入/放量;出事 → 回滚 + 新 skill/新 eval 题

场景 B:离线大仓(Knowledge Inbox / Workspace 几万行)

全靠人 CR 开发不动。用架构约定 + 验证出口 + 原子 PR,把人抬到「设厨房 / 抽查证据」。没有可客观对错出口时,开一百个 Agent 只是加速制造债务。

flowchart TB
  subgraph assets2 [常驻资产]
    FM[模块/功能地图: 目录约定入口命令]
    VOFF[verify-offline: 启动或跑管道 + 黄金样例对比]
    FIX[fix-then-verify: 无证据不得 Done]
    EV2[Eval: 历史翻车 fixture]
    ARCH[硬约定: 分层目录/禁脚枪 lint/必跑测]
  end
  subgraph pipe [需求流水线]
    N[需求进 Issue]
    IMP[实现 Agent 小 PR]
    VER[自跑 verify + 贴证据]
    ACC[独立验收 Agent]
    MER{信任门闩}
    M1[人 stamp / 按仓规合]
    M2[白名单 auto-merge]
  end
  N --> IMP
  FM --> IMP
  ARCH --> IMP
  IMP --> VER
  VOFF --> VER
  FIX --> VER
  EV2 --> VER
  VER -->|红| IMP
  VER -->|绿| ACC
  ACC --> MER
  MER -->|中低| M1
  MER -->|高且白名单| M2
  1. 功能/模块地图:包结构、入口脚本、怎么起、黄金样例路径、子系统边界;新模块必须登记
  2. Verification:不是点 UI:跑 ingest/索引/查询 或 golden file——输入固定样例,输出 hash/字段表对比
  3. Skills:verify-offline、no-guess、atomic-pr、真实翻车补丁(未落文件就 complete、mock 冒充真跑、目标漂移)
  4. Eval:3~10 个 fixture;改 skill 必跑
  5. 硬护栏:测试必绿;禁未测宣称 e2e;目录/import 边界;CR 反复句 → lint
  6. 编排:明哥只派目标/约束/完成标准;实现与验收不同 agent
  7. 步骤1:人/明哥:Issue 写目标、约束、完成标准(含 verify 命令)
  8. 步骤2:实现 Agent:读地图 → 小改 → 强制 verify-offline

分层

功能/模块地图

包结构、入口脚本、怎么起、黄金样例路径、子系统边界;新模块必须登记

Verification

不是点 UI:跑 ingest/索引/查询 或 golden file——输入固定样例,输出 hash/字段表对比

Skills

verify-offline、no-guess、atomic-pr、真实翻车补丁(未落文件就 complete、mock 冒充真跑、目标漂移)

Eval

3~10 个 fixture;改 skill 必跑

硬护栏

测试必绿;禁未测宣称 e2e;目录/import 边界;CR 反复句 → lint

编排

明哥只派目标/约束/完成标准;实现与验收不同 agent

步骤

  1. 人/明哥:Issue 写目标、约束、完成标准(含 verify 命令)
  2. 实现 Agent:读地图 → 小改 → 强制 verify-offline
  3. CI 硬红回修;鼓励原子 PR
  4. 验收 Agent:只复核证据+是否偏目标
  5. 门闩:低人看 / 中验收过按仓规合 / 高白名单才 auto-merge
  6. 翻车 24h 内:补 skill + eval 题 + 必要时一条 CI

对照表

维度场景 A · 万级 QPS场景 B · Knowledge Inbox
Verification 形态 契约/基准/金丝雀/SLO 管道跑通 + 黄金样例 diff
Feature map 服务/接口/依赖/告警 模块目录/入口/样例
最怕的假绿 单测过但线上延迟炸 文档说完成但管道没跑/样例没对
Auto-merge 极窄或基本不开 可对测全绿+验收过的非核心路径渐进开
人的瓶颈该挪到 发布策略与事故设计 目标是否漂、地图/题库是否跟版本
第一刀 一张接口地图 + 一条金丝雀剧本 一个可跑切片 + 3 个 golden + fix-then-verify

最小六件套

日常:需求 → 派单 → Agent 自验 → 验收 → 合 → 翻车回写 skill/题库/CI。并行度和 auto-merge 是门闩右侧的旋钮,不是起点。

协作沉淀笔记 → · 全部专题