先提出运行、反馈、验证与版本迭代;随后又质疑流程本身的假设。
原话 80原话 89原话 93更多流程、质量门一定更可靠吗?
约束是在减少业务错误,还是只让路径更整齐?
讨论走到了哪里
这是方法自身接受反思的记录,而不是某个群友战胜另一个群友。可以确认提出了新的检验标准,不能确认实验已完成。
不能直接写成“质量门有害”或“应当全部删除流程”。
按时间核对原话
我觉得可以把这些人的共同方法压成五件事: 尽快拿到真实结果,而不是长时间设计第一版。 先跑,再根据结果改。 人主要控制目标和边界,执行尽可能下放。 不需要每一步都参与。 上下文尽量外置。 环境、规则、历史经验放进 Agent 能自己读取的地方,而不是靠人反复解释。 验证比监督重要。 测试、评测、Git、日志、对比结果,比盯着 Agent 每一步做什么有效得多。 不断消灭重复摩擦。 同一种错误第二次出现,就考虑是不是环境、工具或流程应该改,而不是再人工处理一次。
从一个模糊想法或已有 AI 任务开始,建立刚好足够的初始框架;让需求、方法和评测在真实产物与反馈中逐步成形;支持人工主导、人机协同或自动迭代;并让每一代变化、证据、文档和 Baseline 始终可理解、可比较、可追溯。
流程不是天然正确的;如果它建立在对 AI 能力的错误假设上,那流程本身就是 Bug。
我刚刚问了一个问题 如果我要控制结果的方差较小,我该怎么办 回答: 如果结果的方法只是用了不同的路径得到类似的答案,那么这种方差是无所谓的 如果答案的结果有不同的方差,它才是核心的偏移的方差 我刚刚思考了一下其实好像这个结果上的方差也没那么大
很多时候我们用受控的软件工程思路去约束flow本身,增加了大量复杂度,但是仅仅优化了第一个方差,对第二个方差无帮助甚至更差; 因为就好像神经网络向后传播一样,在一组组质量门那边做了信息的变化,可能传到最后一层已经损失了很多原始信息;
放回话题里看
先跑一版,怎样才不只是反复重来?
每次尝试都要带回能改变下一步的新证据。
流程越多,结果就越可靠吗?
一道检查如果只增加改写,可能没有增加证据。
每次做法不同,算不算不稳定?
先分清过程变化,和真正影响使用的结果偏差。