Skip to content

06 · 喂对文档

格式、清洗与知识库的"食材学"

📚 《AI 知识库开发入门》第 6/20 篇 · 下一篇:07 · 效果体检

答得好不好,七成在数据。垃圾进垃圾出。

01 格式消化度

Markdown > 纯文本 > Word > 文本型 PDF > 扫描件。能转 Markdown 就转——结构化标题是免费的检索线索。

文档格式消化度五档:Markdown到扫描件

02 清洗 checklist

去页眉页脚、目录页、水印文本;处理失效信息;新旧版本先做裁决再入库——两版并存 AI 会各引一半自相矛盾。

03 可检索化改写

高频知识做三件事:一问一答化、标题层级化、表格扁平化(或问答化)。改写一份顶传十份。

04 元数据

每份文档标来源、日期、权限标签——第 15 篇权限体系、第 16 篇运维都靠它。

05 动手

清洗并改写 3 份"最脏"的文档重新入库 → 验收:同一问题清洗前后答案对比。

06 小结

数据是唯一没有"默认值"的环节。下一篇建立度量。

📎 实战案例

团队把 500 页产品手册原样丢进去,检索捞回的全是目录页。清洗(去页眉页脚/版本裁决)+ 可检索化改写(一问一答/标题层级)后,同一问题答案质量肉眼可见提升——七成效果在数据,垃圾进垃圾出。

踩坑

  • 我把 500 页手册原样丢进去,检索捞回的全是目录页——切块前的清洗省不得。
  • 新旧制度混存,AI 一半引新一半引旧——版本裁决是入库第一关。