小模型够不够用：任务分级与成本控制
樱下纸门
6 min read
小模型不是大模型的缩水版，而是落在不同成本区间的另一类工具。判断"够不够用"的正确方式是先给任务分级，再按级选模型，而不是默认上最大那个。把不对的模型塞给不对的任务，要么烧钱，要么翻车。
把任务切成四档
按推理强度和容错度，工程上可粗略分档：
- L1 结构化：分类、字段抽取、格式转换、正则替代。输入输出高度可预期。
- L2 轻推理：改写、短摘要、单步问答、语气调整。需要一点语言理解。
- L3 重推理：多步规划、复杂代码生成、跨文档比较。容易逻辑断裂。
- L4 开放生成：开放写作、策略建议、需要常识与创造力的任务。
小模型在 L1、L2 上往往表现接近大模型，且单位 token 成本可能低一个量级；到了 L3、L4，差距会迅速拉开，表现为幻觉增多、步骤跳变、约束遵守不稳。这里说的"量级"是经验上的粗略估计，具体数字要按你自己的业务语料实测，不能直接套用别人的结论。
成本不是单价，是"单价 × 返工率"
只看每千 token 报价会误导。一个 L3 任务若用小模型导致 40% 概率输出不可用、需要人工或大模型重做，实际成本常高于直接上大模型。所以选型要算全链路：
def expected_cost(task, model):
base = price_per_1k[model] * est_tokens(task) / 1000
rework = failure_rate[model][task.level] * rework_cost(task)
return base + rework
经验上，L1/L2 用小模型几乎总是划算；L3 需要实测失败率再决定；L4 不要轻易交给小模型。返工成本里最贵的一项往往是"人工复核的时间"，这部分在定价单上看不到，却是真实支出。
用路由把任务分到对的模型
最稳的架构是"小模型守门，大模型兜底"。先用规则或一个小分类器判断任务档位，再分发：
def route(task):
if task.level in ("L1", "L2"):
return call_model(task, size="small")
if task.level == "L3":
out = call_model(task, size="small")
if validator.pass(out, task):
return out
return call_model(task, size="large") # 校验不过再升级
return call_model(task, size="large")
关键在 validator：L1/L2 通常能用规则或 schema 校验，因此"小模型 + 校验 + 兜底"是性价比最高的组合。校验越可靠，路由越敢把任务压给小模型。如果校验本身不可靠，兜底就变成了常态，省下的钱又还回去了。
一个容易忽略的隐性成本
小模型的提示词要写得更精确。它对模糊措辞的容忍度更低，提示稍含糊输出就漂移。这意味着小模型方案的"提示工程成本"可能更高——你得花更多精力把指令写死。大模型的容错性强，反而能容忍更随意的提示。选型时要把这部分人力成本算进去，否则账面省了，实际精力没省。
边界与踩坑
- 不要用小模型做"需要稳定遵守复杂约束"的事，它会间歇性忘记某条规则，比彻底失败更难排查，因为失败是偶发的。
- 同一任务在不同语种、不同领域上的难度不同，分级阈值要按业务语料校准，别照搬通用结论。
- 小模型对提示词的措辞更敏感，写提示要更精确，且要加回归测试防止提示微调后行为漂移。
- 模型会持续迭代，今天小模型够用的档位，升级后可能要重新评测，建立固定回归集比拍脑袋重要。
- 路由分类器本身也可能出错，把 L3 误判成 L2 直接交给小模型，需要一个"置信度低就升档"的保守策略。
- 别为了指标好看把所有任务都标成 L1/L2，真实分布里 L3/L4 占比往往比你以为的高。
失败率怎么测才靠谱
别凭感觉说"小模型够用"。拿一批真实任务样本，分别跑小模型和大模型，用同一套校验器判定成功与否，统计失败率。样本要覆盖你业务的真实分布，包括那些难的例子。少数几个顺利通过的 demo 不能代表线上表现，demo 往往挑了最简单的 case。测出来的失败率，才是路由策略和成本测算的真正输入，而不是"我觉得还行"。还要看失败的模式：是小错能修，还是大错要重做，这决定了兜底成本的高低，也决定小模型到底省不省钱。
补充一点：分级不是静态标签。同一个任务，在不同业务阶段难度会变——早期数据干净时是 L2，后期混入噪声可能升到 L3。路由要能随数据质量动态校准，而不是贴一次标签用一年。把分级当成活的分类任务，定期用真实样本重测，才能在小模型性价比最优的区间里待得住。
成本控制的核心不是"一律用小的"，而是"在可校验的范围内尽量用小的，把不可校验的留给大的"，并诚实计量返工与人力成本。
1 view
0 likes
0 comments