1. 数据清洗与元数据体系构建
原始文档通常混杂着大量噪声与异构信息，直接向量化会导致语义表达偏移。数据清洗与结构化是为后续所有环节建立可靠基础。
1.1 清洗目标
去噪：去除页眉页脚、水印、特殊控制字符、格式标签。
统一化：全半角转换、日期格式统一、无效空格清理。
去重与截断：去除完全重复段落，对超大文档预先切断过长句子，避免后续分片困难。
1.2 元数据分类体系
将时间、分类、标题提取为每条切片的三类核心元数据，作为检索时的精准过滤和排序基础：
时间元数据：文档发布时间、更新时间、数据统计周期等。支持时效性过滤和衰减排序。
分类元数据：业务分类、文档类型（如政策、操作手册、FAQ）、知识库类目。支持按类别精准召回。
标题元数据：文档标题、层级标题。既可作为粗筛依据，也可在生成回答时作为引用来源展示。
所有元数据需在写入向量时一同存储，后续检索时通过标量过滤与向量搜索组合，大幅提高准召。
2. 智能分片策略
知识库文档的边界往往与语义边界不一致，固定长度分片极易割裂核心语义。需采用语义感知的递归分片方案。
2.1 递归切分机制
按优先级从高到低进行层级切分：
文档级语义分隔符：首先识别标题、章、节、段落边界。
自然段切分：在段落边界内，按句子结束符进行切分。
兜底长度切分：若某段仍超过上限，则按预设字符数强制断句，但保留句子完整性。
参数配置建议：目标切片长度 500~800 token，最小切片长度 100 token，避免产生过短无意义片段。
2.2 滑动窗口重叠
为弥补切分边界处的语义断裂，相邻切片之间设置10%~20% 的重叠区间。此举可保障：
边界处的关键实体和短语同时出现在前后两个切片中，提高向量召回覆盖率。
检索时即使核心语义恰好处在切分点，也能被准确命中。
2.3 子父块架构
为平衡检索精度与上下文完整性，设计两级结构：
子块（检索块）：精细化小块，用于向量相似度计算与索引召回，保证检索精度。
父块（上下文块）：由相邻若干子块组成的更大文本区间，在子块被命中后，将整个父块一并返回，为大模型提供充足上下文。
这种架构保证了“精确命中小块、完整返回大块”，避免因分片过细导致的语境丢失。
3. 向量化模型选择与微调
通用文本向量模型在垂直领域的表征能力有限，专业术语、行话表达极易出现向量偏移。
3.1 基座模型评估
优先选择已在中文语料或大规模对比学习数据上表现优异的文本向量模型，重点关注其在该垂直领域的零样本检索能力（如MTEB中文榜单）。若基础模型效果已有较好表现，可减少微调成本。
3.2 领域微调策略
当零样本效果明显不足时，进行针对性微调：
数据构造：利用知识库文档构建正例对（如标题-正文、问题-答案、摘要-原文），并混合hard negative负例提升区分度。
训练范式：采用对比学习损失，结合LoRA等高效微调方式，在少量业务数据上调整模型表征空间。
评估闭环：构建领域专用检索评估集，以Top-K召回率、MRR等指标衡量微调前后增益，确保微调不损害通用能力且领域效果有实质提升。
4. 索引算法选型与优化
索引结构直接决定检索速度与召回质量，需要在精度、内存、延迟三者间取得平衡。
4.1 HNSW 图索引
采用基于图的近似最近邻搜索算法 HNSW，其核心优势：
分层小世界图结构，检索复杂度接近 O(log N)，延迟极低。
图构建时通过候选集扩展和剪枝策略，天然兼顾精度与速度。
4.2 参数调优与吞吐量考量
M 与 efConstruction：适当增大连接数 M 和构建搜索宽度 efConstruction，以消耗更多构建时间和内存为代价，换取高召回率。在线场景需根据目标精度确定参数。
efSearch 动态调整：查询时的搜索宽度 efSearch 是精度与延迟的直接控制变量。可设计分级策略：低延迟场景取较小值，高精度场景动态增大。
内存与吞吐优化：对只读查询密集场景，可启用图压缩、索引量化或纯内存模式，提升高并发下的吞吐量。
5. 索引增强与结果验证
单次向量检索存在语义匹配偏差的可能，需引入多层增强机制提升端到端准确度。
5.1 混合检索：向量 + 关键词 + Reranker
多路召回：同时执行 HNSW 向量检索与 BM25 关键词检索，互补语义泛化与精确匹配的不足。
重排序模型：将多路召回结果汇聚后，送入 Cross-encoder 类型的 Reranker 模型进行精细语义比对，根据相关度重新排序，大幅提升 Top-K 的精确率。
5.2 查询增强：HyDE 虚拟文档
在延迟容忍度较高或对精度有极致要求的场景，可引入 HyDE 技术：
用大模型将用户查询“回答”为一段假设性文档（虚拟文档）。
将该虚拟文档进行向量化，并以此去检索真实文档。
虚拟文档与真实文档处于相同的语义空间和表述风格，能够显著缓解查询-文档间的表达鸿沟，尤其适用于口语化提问与专业文档不匹配的情况。
HyDE 会额外增加一次大模型调用，建议作为复杂查询的按需增强手段，而非全量开启。
5.3 端到端验证闭环
建立定期更新的Q&A评测集，量化每一次策略迭代对最终答案准确率的贡献。
在线采集改写、检索、回答全链路的用户反馈信号，反向定位是检索漏招还是索引覆盖不足，持续优化数据与索引策略。
