在上篇中介绍的 RAG 评估与优化，是在语料库不齐全时做的，核心就是为了补充语料。
可能有人会问，为什么需要这么麻烦？直接抓不就好了吗？
这个问题其实隐含了一些假设在里面。
首先，如果对 RAG 所需的行业背景知识很了解，自然是知道要抓什么，可实际上我不太懂咖啡。其次，当你不知道需要什么数据的时候，你自然就不知道要去哪里抓。
上次评估后，最明显的问题就是数据确实，所以我又补充了一些文档。（这里其实经过一次文档的拆分，中间忘了截图保存，就只能看看拆分之后的文档长啥样了）
而补充数据完成之后，需要再次评估，目的是看补充数据的数据是否有效。所以，评测数据集仍然保持不变，再次跑 RAG 评估。
😓怎么跑分没变，好像越改越差了？不是吧~
仔细一想，我发现之前我只是补充了一些文档，所以真实关心的应该是召回相关的指标。之前是有部分问题直接召回不到内容，所以 context_relevance 提升，表示我们的文档是有用的。（长舒一口气，之前的工作不是负作用~）
接着，我又注意到，“个别回答质量真变差了”，乍看之下还真是有点害怕~。
我心想：“啥情况？这豆子是AI 编出来的？但当时我明确让他围绕已有的产品来构建的问题集啊？”
我仔细去数据集里找了找，发现还真是有提到这款豆子。我开始思考，我是怎么构建的初始语料库的，怎么会无中生有呢？
后来，我想起来了。原来在第一版的语料库中只有可售商品这个字段，它来自于商品的详描。而当时我为了偷懒，没有挨个去抓取真实的SKU的名字。因为这些参数在图片上，我懒得打字一个个敲出来，一个个核对。
后来我在同事的提醒下，发现可以用 DeepSeek 的免费视图模式来提取，就又把SKU的名称和它对应的参数信息都补充进去了。最关键的问题是，我还更新了可售SKU，把那两款豆子删掉了。（可能是商家曾经卖过这两款豆子，现在不卖了，我没察觉到~）
那现在，就面临一个尴尬的问题。
评测数据集已经不太对了。里面有实际根本不存在的问题和答案，如果删掉当然可以，但删掉了之后问题集的评测体系就被打乱了。所以，我选择让 Agent 再次帮我生成一批评测数据集。
生成的时候有个坑注意下。
Agent 问了我之后，我才发现它想作弊。
一定不能围绕语料库来构建问题，而是要围绕问题去充实你的语料库。构建语料库知识手段，不是目标，千万不要被 Agent 带偏
最后，我其实有个小技巧忘了跟大家说。
在最开始构建语料库的时候。如果你行业背景知识不充分，语料库在公网上有，但是怕大模型乱回答（用别家的产品知识来回复自己家的产品），你可以在系统提示词里面强制要求，如果上下文没有，就回复“上下文不足，无法回答”。
之所以这样设计，是为了方便你在评估阶段能立马就知道是缺语料，而不是其他问题。
最后给大家看看评估优化的结果吧~
