整理者的实践建议
比较工具,不比较口号
让模型体感变成别人能理解的任务记录。
- 同一任务、相同输入、相同成功判据;记录客户端、工具与运行条件。
- 分别记录结果质量、调用成本、等待、人工介入与返工。
- 失败时指出具体位置;必要时换模型或改流程,但记录改变了什么。
- 保留原型、长期维护和高风险任务的不同评价尺度。
可以这样开始
请为这次任务建立对比记录:任务与输入、工具环境、验收标准、输出质量、成本、等待时间、人工修复和未解决问题。不要据单个案例给模型做通用排名。
一轮成功不证明长期可靠,多个变量同时变化也不能识别原因。
来自哪些讨论
哪个模型强,先看拿它做什么
写代码、讨论需求、跑长任务,可能需要不同的工具。
便宜的模型,真的省钱吗?
把等待、检查和返工算进去,再看一次任务花了多少。
同一个模型,为什么换个工具就不一样?
影响结果的还有权限、上下文和工具怎样安排工作。