整理者的实践建议

让验证对准业务损失

把“有没有产物”升级成“哪些错误不能接受”。

  1. 区分措辞变化、格式错误、事实错误与会影响业务决策的错误。
  2. 为可自动检查的部分建立检查;为主观与高后果部分安排人工核验。
  3. 保留输入、版本、产物与差异,避免只留下模型自己的通过声明。
  4. 定义暂停、回退和升级条件,让异常有出口。

可以这样开始

请基于最终用途列出不可接受的失败方式,区分自动检查、人工核验和执行前审批。对每项检查说明它能发现什么、不能发现什么,以及失败时如何暂停或升级。

检测器的漏报也要评估;不能用一套未知质量的检查为全部结果背书。

来自哪些讨论

原话依据
数读 ·
我觉得可以把这些人的共同方法压成五件事: 尽快拿到真实结果,而不是长时间设计第一版。 先跑,再根据结果改。 人主要控制目标和边界,执行尽可能下放。 不需要每一步都参与。 上下文尽量外置。 环境、规则、历史经验放进 Agent 能自己读取的地方,而不是靠人反复解释。 验证比监督重要。 测试、评测、Git、日志、对比结果,比盯着 Agent 每一步做什么有效得多。 不断消灭重复摩擦。 同一种错误第二次出现,就考虑是不是环境、工具或流程应该改,而不是再人工处理一次。
原话 80
数读 ·
不需要一开始就准确知道它属于 99% 还是 1%。真正需要的是一套机制,让普通问题能够低成本地被验证,而危险问题能够尽早暴露并升级。
原话 125
*** ·
所以说技术能力不一定要内化到脑子里,但还要有足够的基础去理解这些问题
原话 126

加入观澜

观澜群邀请卡,微信扫码加入,有效期为 2026 年 10 月 1 日前

原图注明 10 月 1 日前有效;能否入群以微信提示为准。