哪个模型强,先看拿它做什么
为什么这样整理
为什么有人说好,有人说不好?
8 月 19 日,J1_Hee 说自己已经改用 Codex;数读却觉得,写代码和讨论产品、梳理需求不是一回事。北鱼也说,短代码任务未必看得出差距,任务拉长以后才更明显。他们未必谁错了,只是拿来比较的工作不同。这些是个人体感,不是一场条件相同的测评。[76][77][78][67]
把“聪明”换成几个能检查的问题
它听懂目标了吗?能用到需要的工具吗?长任务能做完吗?会不会想了很久,却交不出可验收的东西?Recover 讲过一次修 Bug 的经历:继续重试没有解决,换模型后很快做完。这个例子值得记住,但不能靠一次成功给模型排永久名次。[74][75]
以后可以怎样比较
先说明任务、使用的客户端、限制条件和怎样才算成功,再谈哪个工具适合。这样别人才能判断:你的好体验,换到我的工作里是否还成立。比起找一个包办所有任务的“最强模型”,给自己的不同工作找到合适的工具更实用。
原文包含大量型号、价格和版本体感,本页将它们保留为当时的讨论记录,不作为现行产品说明。不同人的任务并不受控,也没有完整测试样本。
还可以继续问
下次说“这个模型不行”时,能否附上一个可复现任务和失败判据?
核对早期整理措辞
群里为什么会意见相反
8 月 19 日,J1_Hee 说自己已经转向 Codex;数读却区分了编程与产品、需求分析场景,认为工具在不同任务上的体验不一样。北鱼还提出,短代码任务不容易拉开差距,长周期任务才更容易体现差异。这些是各自的使用体感,不是相互排斥的统一测评。[76][77][78][67]
比较的对象应该是什么
把“哪个更聪明”拆成具体问题:能否理解目标、能否使用所需工具、能否完成长任务、是否过度思考、交付是否可验收。Recover 的一次修 Bug 经历展示了换模型可能比继续重试更划算,但单个案例只能提供线索,不能推导永久排名。[74][75]
值得留下的判断
与其寻找一个统治所有场景的模型,不如建立自己的任务—工具配对。讨论模型时同时交代任务类型、客户端、约束、成功标准;这样别人才能判断这个体验能否迁移到自己这里。