Skip to content

04 · 成本与模型选择

embedding、生成模型、算力各花多少钱

📚 《AI 知识库开发入门》第 4/20 篇 · 下一篇:05 · 30 分钟跑通

成本四件套:embedding(一次性+增量)、存储、每次问答的检索、生成。

01 量级感

万级文档的 embedding 成本通常远低于想象(多数场景个位数到两位数美元级,以各家最新价目为准);大头在生成端——每次问答都花钱。

知识库成本结构:embedding成本与生成端成本对比

02 模型选择

知识问答场景"有据可查",中档生成模型往往够用——旗舰模型在此场景的边际提升常常对不起差价。embedding 选型看中文效果与价格,别默认用最贵的。

03 降本三招

高频问题缓存、简单问题小模型路由、只对复杂问题上高配。

04 动手

按"文档量 × 日问答量"估算你的月成本 → 验收:成本估算表。

05 小结

先有成本模型,后面每个技术选择才有依据。下一篇正式动手。

📎 实战案例

有人全量文档用顶配 embedding 重复灌了三遍,账单破千才发现有够用的低价档;生成模型也无脑选旗舰,AB 测后发现中档在「有据可查」场景几乎无差。先建成本模型,每个技术选择才有依据。

踩坑

  • 我全量文档用顶配 embedding 重复灌了三遍,账单破千才发现有够用的低价档。
  • 生成模型无脑选旗舰,AB 测后发现中档在本场景几乎无差——省下的是纯利润。