先跑一版,怎样才不只是反复重来?
回到原话
我觉得可以把这些人的共同方法压成五件事: 尽快拿到真实结果,而不是长时间设计第一版。 先跑,再根据结果改。 人主要控制目标和边界,执行尽可能下放。 不需要每一步都参与。 上下文尽量外置。 环境、规则、历史经验放进 Agent 能自己读取的地方,而不是靠人反复解释。 验证比监督重要。 测试、评测、Git、日志、对比结果,比盯着 Agent 每一步做什么有效得多。 不断消灭重复摩擦。 同一种错误第二次出现,就考虑是不是环境、工具或流程应该改,而不是再人工处理一次。
本质上就是工作策略从“重先验”转向“更快用后验更新”。 以前执行很贵:人做,除非证明机器能做;先尽量设计完整,再执行。 现在很多执行已经很便宜:机器做,除非证明这里需要人;先跑最小化测试,再根据真实结果快速迭代。
比如我现在做法规资讯分析,不是先把一套方法设计到很完整再固定下来,而是一开始就把它设计成一个可持续迭代的闭环。 每跑一版,就从真实结果里拿到新的证据:哪些地方错、为什么错、新版本到底有没有更好,然后把这些后验结果继续更新进下一版。 因为现在改 Prompt、规则、流程、Agent 策略的成本都很低,所以没必要特别依赖一开始的先验把所有东西想对,更重要的是让系统能持续用后验把自己修正好。
以前是: 错误很贵,所以尽量靠先验避免错误。 现在越来越多场景是: 错误便宜,所以更值得尽快获得错误,再用后验修正。
从一个模糊想法或已有 AI 任务开始,建立刚好足够的初始框架;让需求、方法和评测在真实产物与反馈中逐步成形;支持人工主导、人机协同或自动迭代;并让每一代变化、证据、文档和 Baseline 始终可理解、可比较、可追溯。
流程不是天然正确的;如果它建立在对 AI 能力的错误假设上,那流程本身就是 Bug。
我刚刚问了一个问题 如果我要控制结果的方差较小,我该怎么办 回答: 如果结果的方法只是用了不同的路径得到类似的答案,那么这种方差是无所谓的 如果答案的结果有不同的方差,它才是核心的偏移的方差 我刚刚思考了一下其实好像这个结果上的方差也没那么大
很多时候我们用受控的软件工程思路去约束flow本身,增加了大量复杂度,但是仅仅优化了第一个方差,对第二个方差无帮助甚至更差; 因为就好像神经网络向后传播一样,在一组组质量门那边做了信息的变化,可能传到最后一层已经损失了很多原始信息;