ragas官方文档中文版（四十）

操作指南

本节中的每个指南都针对您作为有经验的用户在使用 Ragas 时可能遇到的实际问题提供了专注的解决方案。这些指南设计得简洁直接，为您的问题提供快速解决方案。我们假设您对 Ragas 的概念有基本了解且能够熟练使用。如果不是，请先浏览 快速入门 （Get Started）部分。

DSPy 优化器：高级提示词优化

DSPyOptimizer 使用 DSPy 的 MIPROv2 算法为 Ragas 指标提供最先进的提示词优化。它结合了指令优化和示例优化，能够找到比简单进化方法更好的提示词。

概述

DSPyOptimizer 使用 MIPROv2（带排序结果的多提示词指令提议）通过以下方式优化指标提示词：

• 指令优化 ：生成并测试多个提示词变体
• 示例优化 ：自动选择有效的少样本示例
• 组合搜索 ：同时探索指令和示例空间

这通常会产生比简单的 GeneticOptimizer 更好的结果，尤其是当您拥有高质量的标注数据时。

安装

DSPy 是一个可选依赖项。使用以下命令安装：

# Using uv (recommended)uv add"ragas[dspy]"# Using pippip install"ragas[dspy]"

基本用法

前提条件

您需要：

1. 标注数据集 ：指标的真实分数（ground truth）
2. 带提示词的指标 ：使用 PydanticPrompt 的指标（大多数 Ragas 指标）
3. LLM ：用于优化的 LLM（建议使用 gpt-4o-mini 以节省成本）

快速开始

fromopenaiimportOpenAIfromragas.llmsimportllm_factoryfromragas.metrics.collectionsimportFaithfulnessfromragas.optimizersimportDSPyOptimizerfromragas.configimportInstructionConfig# Setup LLM for optimizationclient=OpenAI()llm=llm_factory("gpt-4o-mini",client=client)# Initialize metricmetric=Faithfulness(llm=llm)# Create annotated dataset (see below for format)dataset=create_annotated_dataset()# Configure DSPy optimizerconfig=InstructionConfig(llm=llm,optimizer=DSPyOptimizer(num_candidates=10,# Try 10 prompt variationsmax_bootstrapped_demos=5,# Generate up to 5 examplesmax_labeled_demos=5,# Use up to 5 human annotations))# Optimize the metric's promptsmetric.optimize_prompts(dataset,config)# Save optimized prompts for reusemetric.save_prompts("optimized_faithfulness.json")

标注数据集格式

DSPy 优化器需要真实标注（ground truth）：

fromragas.dataset_schemaimport(PromptAnnotation,SampleAnnotation,SingleMetricAnnotation)# Create prompt annotationsprompt_annotation=PromptAnnotation(prompt_input={"user_input":"...","response":"..."},prompt_output={"score":0.9},# Actual metric outputedited_output=None,# Or corrected output if needed)# Create sample with annotationssample=SampleAnnotation(metric_input={"user_input":"...","response":"..."},metric_output=0.9,# Ground truth scoreprompts={"faithfulness_prompt":prompt_annotation},is_accepted=True,# Whether to use in optimization)# Create datasetdataset=SingleMetricAnnotation(name="faithfulness",samples=[sample,...]# Need 20-50+ samples for best results)

高级配置

优化参数

控制 MIPROv2 行为：

optimizer=DSPyOptimizer(num_candidates=20,# More candidates = better prompts, higher costmax_bootstrapped_demos=10,# Auto-generated few-shot examplesmax_labeled_demos=10,# Human-annotated examples to useinit_temperature=1.0,# Exploration temperature (0.0-2.0))

参数指南

成本优化

MIPROv2 优化的成本可能很高。可通过以下方式降低成本：

# Budget-conscious configurationbudget_optimizer=DSPyOptimizer(num_candidates=5,# Fewer candidatesmax_bootstrapped_demos=2,# Fewer generated examplesmax_labeled_demos=3,# More reliance on annotationsinit_temperature=0.5,# Less exploration)# Use cheaper LLM for optimizationcheap_llm=llm_factory("gpt-4o-mini",client=client)config=InstructionConfig(llm=cheap_llm,optimizer=budget_optimizer)

成本估算

• 每个候选提示词约 10-50 次 LLM 调用
• 每个自举示例约 5-10 次调用
• 总计 ： num_candidates * 30 + max_bootstrapped_demos * 7 次调用（近似值）

与 GeneticOptimizer 比较

何时使用 DSPyOptimizer

✅ 使用 DSPyOptimizer 的情况：

• 您拥有 50+ 高质量标注示例
• 您需要最佳的指标准确性
• 您可以承担 100-500 次 LLM 调用来进行优化
• 您正在优化关键的生产指标

何时使用 GeneticOptimizer

✅ 使用 GeneticOptimizer 的情况：

• 您的标注数据有限（<20 个示例）
• 您需要更快、更便宜的优化
• 您正在进行初始原型开发
• 简单的指令优化已足够

并排比较

fromragas.optimizersimportGeneticOptimizer,DSPyOptimizer# Genetic optimizer - simpler, faster, cheapergenetic_config=InstructionConfig(llm=llm,optimizer=GeneticOptimizer(max_steps=50,# Evolution stepspopulation_size=10,# Population per generation))# DSPy optimizer - advanced, better results, more expensivedspy_config=InstructionConfig(llm=llm,optimizer=DSPyOptimizer(num_candidates=10,max_bootstrapped_demos=5,max_labeled_demos=5,))# Compare resultsmetric_genetic=Faithfulness(llm=llm)metric_genetic.optimize_prompts(dataset,genetic_config)metric_dspy=Faithfulness(llm=llm)metric_dspy.optimize_prompts(dataset,dspy_config)# Evaluate on holdout settest_scores_genetic=metric_genetic.batch_score(test_set)test_scores_dspy=metric_dspy.batch_score(test_set)

典型结果:

处理多个指标

使用相同方法优化多个指标：

fromragas.metrics.collectionsimport(Faithfulness,AnswerRelevancy,ContextPrecision)metrics={"faithfulness":Faithfulness(llm=llm),"answer_relevancy":AnswerRelevancy(llm=llm),"context_precision":ContextPrecision(llm=llm),}# Optimize each metricforname,metricinmetrics.items():print(f"Optimizing{name}...")# Load metric-specific datasetdataset=load_annotated_dataset(name)# Optimizemetric.optimize_prompts(dataset,dspy_config)# Savemetric.save_prompts(f"optimized_{name}.json")

故障排除

导入错误

如果您遇到 ImportError: DSPy optimizer requires dspy-ai ：

# Install the DSPy extrauv add"ragas[dspy]"# orpip install"ragas[dspy]"

优化耗时过长

减少 LLM 调用次数：

fast_optimizer=DSPyOptimizer(num_candidates=3,# Minimum viablemax_bootstrapped_demos=1,max_labeled_demos=3,)

结果不佳

常见原因：

• 数据不足 ：需要 20+ 高质量标注
• 标注质量低 ：确保真实分数（ground truth）准确
• LLM 选择错误 ：使用 gpt-4o 或更好的模型进行优化
• 配置不当 ：先尝试默认参数

内存问题

MIPROv2 在处理大型数据集时可能会占用大量内存：

# Process in smaller batchesfromragas.dataset_schemaimportSingleMetricAnnotationdefoptimize_in_batches(dataset,batch_size=20):# Split datasetbatches=[dataset.select(range(i,min(i+batch_size,len(dataset.samples))))foriinrange(0,len(dataset.samples),batch_size)]# Optimize on first batch for speedbest_batch=batches[0]metric.optimize_prompts(best_batch,dspy_config)

最佳实践

数据质量

1. 多样化示例 ：覆盖边缘情况和常见场景
2. 准确标注 ：仔细检查真实分数（ground truth）
3. 足够数量 ：生产指标需要 50+ 示例

优化策略

1. 从小规模开始 ：先使用 3-5 个候选提示词测试
2. 迭代优化 ：根据需要逐步增加参数
3. 验证 ：始终在保留集（holdout set）上测试
4. 缓存 ：保存优化后的提示词以避免重新运行

生产部署

# 1. Optimize offlinemetric=Faithfulness(llm=optimization_llm)metric.optimize_prompts(training_dataset,dspy_config)metric.save_prompts("production_faithfulness.json")# 2. Load in productionproduction_metric=Faithfulness(llm=production_llm)production_metric.load_prompts("production_faithfulness.json")# 3. Use for evaluationresults=production_metric.batch_score(production_samples)

另请参阅

• 优化器 API 参考 - 完整的 API 文档
• 指标自定义 - 创建自定义指标
• DSPy 文档 - 了解更多关于 DSPy 的信息