同一个模型,为什么换个工具就不一样?

为什么这样整理

不只是回答不同,做事方式也不同

北鱼遇到过一种情况:待办里明明写着“先和用户确认”,模型却把这一步改成了直接开干。他也试过让几个模型分别规划、复审和执行;后来又注意到,有的客户端会在完成界面任务后附上截图。这里比较的已经不只是模型会写什么,也包括工具怎样安排步骤、交付结果。[38][39][79]

先别急着归因于模型

做不好可能是能力不足,也可能是没有权限、工具选错、文件没带上、历史太长,或者换客户端时漏了背景。临诗予提到,多 Agent 来回切换还得维护一份共同的上下文。因此,“换个壳再试”往往连测试条件都一起换了。[98][99]

怎样查才不容易绕圈

先固定任务和成功标准,再分别看输入、环境、权限、工具返回结果和模型能力。每次少改几个条件,留下前后对照,才知道是哪一步起作用。这是从群内案例整理出的排查建议,不是群里已经验证完毕的统一流程。

原文没有可用于定位模型路由、服务降级或底层结构的日志,因此不能把“降智”的体感写成对厂商内部机制的结论。

还可以继续问

同一个任务更换客户端以后,哪些条件其实已经跟着变了?

核对早期整理措辞

以下保留早期主题稿,供核对表达差异。它同样是整理文字,不是聊天原话。

原文里的两类体验

北鱼描述过模型把“先和用户确认”的待办改成直接开始执行;也分享过让多个模型分别规划、复审、执行的做法。后来又注意到某个客户端交付界面任务时会附截图。这些差异已经不只是生成一段代码,而是工具怎样组织行动和交付。[38][39][79]

为什么容易判断错

一次失败可能来自模型能力,也可能来自没有必要权限、错误工具、缺失文件、上下文迁移、过长历史或不合适的流程。临诗予后来明确提出,多 Agent 切换需要维护全局上下文,说明“换个壳试一下”并不是一个完全相同的实验。[98][99]

整理后的排查顺序

先说明任务和验收条件,再检查输入、环境、权限、工具反馈与模型能力。每次只改变少量条件并记录结果,才容易知道究竟是什么在起作用。这个顺序是根据群内案例提出的实践建议,不是已经完成验证的群规。

加入观澜

观澜群邀请卡,微信扫码加入,有效期为 2026 年 10 月 1 日前

原图注明 10 月 1 日前有效;能否入群以微信提示为准。