企业AI落地第一步-智能问答！带你拆解一个能看懂图片的智能问答系统！
大家好，最近我们在帮几家企业做内部AI落地的时候，发现了一个非常有意思的共性痛点：HR团队每天要花大量时间回答员工的重复问题。“年假还有几天？”“这个月的社保扣了多少？”“离职流程怎么走？”……这些问题虽然简单，但每天几百条砸过来，真的让人崩溃。
为了解决这个问题，我们设计并落地了一套人力智能问答系统。这不仅仅是一个简单的“一问一答”机器人，更是一个能真正理解员工意图、甚至能“看懂图片”的智能助手。
今天，我纯粹从技术角度，带大家拆解一下这套系统是怎么做出来的，特别是我们最近刚升级的多模态能力，希望能给同样在探索企业AI落地的同行们一些启发。
1. 为什么要做这套系统？
传统的FAQ机器人大家应该都用过，体验往往很差：你问“年假怎么算”，它回你“对不起，我没听懂”。为什么？因为它只能做字面匹配。
我们希望做到的，是真正理解员工在问什么。比如：
- 员工问：“社保公积金缴纳比例是多少？”系统能从长篇大论的政策文件里，精准提取出一个结构化的表格。
- 员工上传一张工资条的局部截图问：“这个扣款项是什么意思？”系统能看懂截图，并结合公司的薪酬制度给出解释。
为了实现这个目标，我们把系统架构设计成了这样：
简单来说，就是把传统的“搜索匹配”升级成了“多级检索+大模型生成”，底层接入了千问大模型和各种向量化模型，上层对接企业微信和Web端。
2. 核心技术拆解：多级检索策略
为了保证回答的准确率（我们设定的目标是≥90%），同时控制响应时间，我们设计了一套多级检索策略，像漏斗一样层层过滤：
- 缓存层：如果这个问题最近24小时内有人问过（通过MD5哈希比对），直接从Redis秒回。
- FAQ精确匹配：如果问题和知识库里的标准问题一模一样，直接返回预设答案。
- FAQ语义匹配：如果字面不一样但意思一样（比如“年假有几天”和“带薪休假怎么算”），我们用BM25算法加上Softmax归一化打分，超过0.85阈值的直接命中。
- 多模态RAG检索（重点！）：如果前面都没命中，而且员工上传了图片，系统就会进入多模态模式。这个我们后面详细讲。
- 纯文本RAG检索：把员工的问题向量化（我们用的是BGE模型），去Milvus向量库里捞最相关的政策片段，然后扔给大模型，让它结合片段生成答案，并附上原文链接。
- 兜底回复：实在不知道的，引导员工转人工。
3. 重头戏：让系统“看懂”图片
这是我们在最新版本里重点攻克的技术难点。很多时候，员工的问题很难用文字描述清楚。比如打卡系统报错了，直接发个截图比打字说半天管用得多。
为了实现这个能力，我们在架构里引入了多模态处理流：
管理端：自动提取图片素材
HR在上传政策文档（比如Word或PDF）时，系统会自动把文档里的流程图、表格截图、操作指引提取出来。
- 提取出的图片会保存到专门的存储服务里。
- 同时，调用多模态大模型给这张图片生成一段文本描述。
- 最后，用CLIP模型把图片变成向量，存进Milvus的一个独立Collection（专门存图片向量）。
员工端：图文混合提问与多模态检索
员工可以上传一张图片，并附上一句话。比如发一张打卡异常截图，问“这个打卡记录显示异常怎么办”。当员工带图提问时，系统会走下面这个流程：
- 意图识别：发现有图片，自动切入多模态模式。
- 图片理解：用多模态模型看看员工发的图片里有什么。
- 混合检索：用文本向量去搜文本库，用图片向量去搜图片库，甚至用图片搜文本、用文本搜图片。
- 融合生成：把检索出来的文本段落和图片素材打包，一起喂给大模型，生成一个图文并茂的回答。
比如员工问“离职流程怎么走”，系统不仅会用文字分步骤说明，还会直接把《员工手册》里的那张离职流程图贴出来。这种体验，比干巴巴的一段文字好太多了。
4. 那些踩过的坑和经验
在落地过程中，我们也踩了不少坑，这里分享几个经验：
- 数据隔离很重要：很多公司希望HR、财务、IT都用这套系统。千万不要把数据混在一起！我们在设计时，通过配置实现了模块化的隔离（不同的MySQL库、不同的Milvus Collection），保证HR的问题绝对不会搜出财务的答案。
- 降级策略必须有：多模态模型有时候会抽风，或者图片存储服务挂了。这时候系统不能直接报错，必须能自动降级到纯文本RAG模式，保证基本的问答还能用。
- 扫描版PDF是永远的痛：现在的文档解析工具对纯文本PDF支持很好，但如果是扫描件，特别是带盖章、手写签名的，必须外接专业的OCR服务才能搞定。
5. 写在最后
这套系统上线后，我们帮客户统计了一下，问答命中率稳定在80%以上，HR团队每天处理答疑的时间至少减少了一半。
从技术上看，大模型时代的企业知识库，正在从“文本检索”向“多模态理解”演进。能看懂图片、能处理复杂表格、能理解长流程，这才是真正有用的AI助手。
