选型这事光看跑分没用,得在自己的真实任务上跑一遍。我手头有个"把客服对话总结成一句话工单标题"的活,正好拿三个主流大模型实测了一组数据,从质量、延迟、成本三个维度对比。这篇直接上数据和结论,代码很少,主要是给同样在纠结选哪个模型的同行一个参照。

测试设定先说清,免得数据没意义

• 任务:输入一段 5-20 轮的客服对话,输出一句不超过 20 字的工单标题。

• 样本:从线上抽的 200 条真实对话,覆盖咨询/投诉/报修三类。

• 环境:同一台机器、同一段时间、并发 1,排除网络抖动干扰。

• 质量评分:我和另一个同事盲评,1-5 分(标题是否准确概括、有没有抓错重点),取均值。

搭测试流用的是个零代码配智能体的平台,好处是同一套 prompt、同一批样本,切换底层模型只改个配置,变量控制得住,不用为每个模型重写一遍调用代码。

三个模型的实测数据

(成本按各家公开计费折算成相对值,绝对数会变,看比例就行)

几个比数字本身更有用的观察

质量和延迟/成本不是线性的。从 C 到 B,质量涨了 0.6 分,成本翻了 3 倍;从 B 到 A,质量只涨 0.3 分,成本又翻近 3 倍。B 到 A 这段是典型的边际收益递减——多花两倍多的钱,只换来 0.3 分。除非你对质量极度敏感,否则不值。

轻量模型 C 的问题主要在长对话。短对话(5 轮内)它标题质量跟 B 差不多,但对话一长(15 轮以上),它经常抓错重点、把次要诉求当主诉求。短任务用 C 完全够,长任务才需要往上选。

延迟对体验的影响被低估。2.4s 和 0.6s,在工单标题这种用户要等着看的场景,差别很明显。如果是后台批处理不要紧,但凡是同步等结果的,延迟得算进选型。

我最后怎么选的:分场景混用

没有一个模型通吃。我的方案是按对话长度路由:

对话 ≤ 8 轮  → 用 C(快、便宜,这档质量够)
对话 > 8 轮  → 用 B(均衡,长对话也稳)
重大投诉工单 → 用 A(质量优先,这类不差钱)

整体算下来,综合成本只有全程用 A 的三分之一不到,质量均分还稳在 4.2 以上。混用比一刀切香。

测的时候踩的坑

盲评不做就是自欺。我第一版是我自己一个人评,潜意识里对某个模型有偏好,分给得不客观。拉上同事盲评(不告诉他哪条是哪个模型出的)才公允,两人分差大的再讨论。质量评分这步最容易掺水。

延迟得多跑几轮取中位。单次延迟波动很大,我一开始只测一遍,数据飘得没法看。后来每个模型每条样本跑 3 次取中位数,曲线才平稳。别拿单次延迟下结论。

别忽略偶发失败。轻量模型 C 在我这组里有 2 条直接超时返回空,虽然比例低,但生产里这就是要做降级的。光看成功样本的平均值,会高估它的可用性。

收尾

这组对比能这么轻松切换模型,是因为底层接的是讯飞 Agent 的 MaaS——多个大模型在一个接口后面,改配置就换模型,我才能用同一套流程把它们横着比一遍,选型实验的成本低了一大截。

你们做过模型选型实测吗?是按场景混用还是一个模型干到底,评论区贴贴你们的对比数据。