前言
大家常说 RAG 应用是：一周出 demo，半年用不好。那么怎么评估 RAG 应用是否能够上生产了呢？如果公司人手足够，当然可以人工测试评估准确性，但指标未免单一。本文介绍一个全自动化的 rag 应用评估框架 ragas。
RAGas（RAG Assessment)[1]RAG 评估的缩写，是一个专门的解决方案用于评估、监控和提升生产环境中大语言模型（LLM）和检索增强生成（RAG）应用的性能，包括用于生产质量监控的定制模型。它除了评估，还能从数据集中生成测试集，这将极大地降低人力投入，毕竟一个良好的数据集构建是非常消耗时间和人力的。RAGas 从生成和检索两个维度评估 RAG 应用，如下图所示。
生成角度可以从忠实性 faithfulness 和回答相关性 answer relevancy 评估，而检索则从上下文精度（context precision）和上下文召回（context recall）上来测评。当然 ragas 不止这四种评测，还有答案准确性（answer correctness），上下文利用率（context utilization），上下文实体召回率（context entity recall）和噪声敏感度（noise sensitivity）等。后面会专门叙述常见的几种指标的计算。在开始评估之前，我们先安装 ragas。
pip install ragas安装好之后，我们要如何评估 RAG 呢？拿什么评估？这就必须要说如何准备评估数据集。
1. 准备评估数据集
RAGas 需要的评估数据集格式如下：
data_samples={'question':['第一届超级碗是什么时候举行的？','谁赢得了最多的超级碗冠军？'],'answer':['第一届超级碗于1967年1月15日举行','赢得最多超级碗冠军的是新英格兰爱国者队'],'contexts':[['第一届 AFL-NFL 世界冠军赛是一场美式橄榄球比赛，于1967年1月15日在洛杉矶纪念体育馆举行'],['绿湾包装工队...位于威斯康星州绿湾市。','包装工队参加...全国橄榄球联合会比赛']],'ground_truth':['第一届超级碗于1967年1月15日举行','新英格兰爱国者队赢得了创纪录的六次超级碗冠军']}包含 4 个字段，分别是question、answer、contexts和ground_truth。每一项都是一个数组列表，要注意的是，答案、上下文和基本事实和问题列表是一一对应的，即第一个问题的答案也必须是 answer 中的第一个元素，同时也必须是上下文和基本事实的第一个元素。其中上下文的每个元素都是一组字符串数组，这是因为每个问题都可以有多个上下文。
如果你人力资源足够的话，我们可以手动构建这个数据集，假设你有问题列表和基本事实列表（这一个不是必须），回答就由你自己的 RAG 应用根据问题来填充，上下文也由你的 RAG 应用填充。
此外，我们也可以使用 ragas 根据数据集自动构建。因为要读入数据，这里需要先安装 langchain 或者 llamaindex 来支持数据的读入。
pip install langchain-community==0.2.17pip install unstructured==0.15.13然后使用如下代码，读入数据。
fromlangchain_community.document_loadersimportDirectoryLoader loader=DirectoryLoader("～/Projects/graphrag/input")documents=loader.load()fordocumentindocuments:document.metadata['filename']=document.metadata['source']既然要生成数据集，当然需要大语言模型的支持了，也需要 embedding 模型支持，这里采用 DeepSeek 和智谱的在线模型 API。
fromlangchain_openaiimportChatOpenAI,OpenAIEmbeddings generator_llm=ChatOpenAI(model="deepseek-chat",openai_api_base="https://api.deepseek.com/v1",openai_api_key="xxxx")critic_llm=ChatOpenAI(model="deepseek-chat",openai_api_base="https://api.deepseek.com/v1",openai_api_key="xxxx")embeddings=OpenAIEmbeddings(openai_api_base="https://open.bigmodel.cn/api/paas/v4",openai_api_key="xxxx",embedding_ctx_length=512,chunk_size=512,model="embedding-3")注意必须配置这些选项，不然它默认就是访问 OpenAI 的模型。
然后就是使用 ragas 框架的 API 来生成测试集了，首先初始化测试集生成器。
generator=TestsetGenerator.from_langchain(generator_llm,critic_llm,embeddings)然后调用 APIgenerate_with_langchain_docs准备生成，参数为读取的 documents，生成的数据集条数 test_size 以及生成问题的分布，如简单的占比 0.5，推理的 0.25 以及多个上下文的 0.25。
testset:TestDataset=generator.generate_with_langchain_docs(documents,test_size=10,distributions={simple:0.5,reasoning:0.25,multi_context:0.25})然后我们将生成的数据集保存，以备后用。
ds=testset.to_dataset()ds.save_to_disk("./activity_testset")生成的数据大概如下所示。
ragas 在生成数据集上还可以配置问题的难易分布。理想的评估数据集应涵盖生产中遇到的各种类型的问题，包括不同难度级别的问题。大语言模型（LLMs）通常不擅长生成多样化的样本，因为它们倾向于遵循常见路径。ragas 受 Evol-Instruct[2] 等作品的启发，采用了一种进化生成范式，系统地从提供的文档集创建具有不同特征的问题，如推理、条件、多个上下文等。这种方法确保了对管道中各个组件性能的全面覆盖，从而实现更稳健的评估过程，原理如下图所示。
但我要说的是，ragas 在生成数据集非常不完善，很难生成，全靠运气，经常报 Connection 错误，而 API 明明可以连接。另外一点是所使用的Prompt 都是英文，有几率生成一些英文问题，即使你的输入文档是中文的。虽然你可以通过 Prompt adapation 进行本地化，但 ragas 里对于 json 的处理非常简单，不会做任何解析增强，所以生成的东西也用不了，除非手工修改。
看了一些 ragas 代码，感觉写的不咋的，但他们的评估指标和思路是挺好的。生成测试集搞了我一周，魔改代码都没能解决一堆报错，搞得我一肚子火。今天发布了最新版本 v0.2.0，已经和上述代码不兼容了。还没空测评，不知道新版本是否有解决，希望给力点吧。
2. 开始评估
上节已经提到生成数据集功能缺陷太多，所以这里为了演示，我们使用官方 Demo 中的数据集。
2.1 加载数据集
fromdatasetsimportDataset,load_datasetdefload_amnesty_qa()->Dataset:# loading the V2 datasetamnesty_qa=load_dataset("explodinggradients/amnesty_qa","english_v2")print(amnesty_qa['eval'].column_names)# ['question', 'ground_truth', 'answer', 'contexts']# amnesty_qa['eval']['contexts']returnamnesty_qa["eval"]dataset=load_amnesty_qa()2.2 评估忠实性
计算 Faithfulness 就是计算忠实性。首先将答案分拆为几个声明（简单理解为句子也行），然后判断每个句子是否可以从上下文 contexts 中推断出来，如果出现过则认为是忠实的。比如将答案拆分为 3 个 claims，然后从 context 中判断有几个可以推断出来，假设为 2，那么忠实性就是 2/3。它需要回答和上下文。
fromragas.metricsimportfaithfulness,answer_relevancy,context_precision,context_recall,context_entity_recallfromragasimportevaluatedefmetric_faithfulness():score=evaluate(dataset,metrics=[faithfulness],llm=generator_llm,embeddings=embeddings)print(score.to_pandas())metric_faithfulness()评估忠实性如下表所示。
2.3 评估答案相关性
计算答案的相关性 Answer relevancy，它基于答案推测出多个问题，然后计算用户问题和推测出的问题的相关性，也就是嵌入的相似度，然后取平均值从而得出相关性。它也需要回答和问题。
defmetric_answer_relevancy():score=evaluate(dataset,metrics=[answer_relevancy],llm=generator_llm,embeddings=embeddings)print(score.to_pandas())metric_answer_relevancy()评估结果如下表所示。
2.4 上下文精度
计算上下文精度 Context Precision，即召回的 K 个 Chunk 中，到底多少是和问题、真实答案相关的。然后基于此计算一个精度的分数。它需要问题、基本事实和上下文。
defmetric_context_precision():score=evaluate(dataset,metrics=[context_precision],llm=generator_llm,embeddings=embeddings)print(score.to_pandas())metric_context_precision()评估结果如下表所示。
2.5 上下文召回率
计算上下文召回率 Context Recall，衡量检索到的上下文与作为基本事实的一致程度。从基本事实中，提取出 Claims，然后判断每一个 Claims 是否可以从检索出的上下文中推断出来，然后计算推断出的 claims 数量和总 claims 数量。它需要问题、基本事实、上下文。
defmetric_context_recall():score=evaluate(dataset,metrics=[context_recall],llm=generator_llm,embeddings=embeddings)print(score.to_pandas())评估结果如下表所示。
2.6 计算上下文实体召回率
计算上下文中实体召回 Context Entities Recall，分别从 Context 和基本事实中提取出实体，然后从中找出实体的交集并和基本事实中的实体数量做比，得出一个实体召回率。它需要上下文和基本事实。
defmetric_context_entities_recall():score=evaluate(dataset,metrics=[context_entity_recall],llm=generator_llm,embeddings=embeddings)print(score.to_pandas())评估结果如下表所示。
3. 总结
本文介绍了如何使用 ragas 生成测试集，介绍了多个常用的 RAG 评估指标。本文生成测试集部分代码基于 ragas v0.1 版本编写，具有较多问题根本无法使用，升级 v0.2.0 后出现代码兼容问题无法运行，后续等我更新吧。评估部分 v0.2.0 是兼容的，并且我在 v0.1 下评估会报错类似n=1, API Connection Error等问题，在升级后完美解决了，也没有出现指标 NaN 或者 0 的情况，推荐使用。
最后的最后
感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。
因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
大模型知识脑图
为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
经典书籍阅读
阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。
实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
面试资料
我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下
640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
