这项由南京大学领导的研究成果以预印本形式发布于2026年7月，论文编号为arXiv:2607.05511，有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。
你有没有遇到过这样的朋友——他每次见你都要翻遍笔记本才能想起你上次聊过什么？每隔几分钟就要低头查阅，然后抬起头说"哦对，你上次说到这里了"。跟这样的朋友聊天，体验绝对好不到哪里去。现实中的AI视频助理，有时候就是这个样子：视频放了一个小时，它却要花大量时间翻来覆去"查资料"、"想线索"、"重新梳理"，才能勉强回答你一个问题，又慢又耗费资源。
南京大学的研究团队正是针对这个痛点，提出了一个叫做 **Light-Omni** 的新框架。它的核心思路可以用一句话概括：与其让AI像侦探一样反复推理、拼凑线索，不如让它像一个记忆力超群的老朋友，见到你的第一秒就能瞬间调取所有相关记忆，直接给你答案。
---
一、老朋友与失忆症患者：两种截然不同的记忆方式
要理解Light-Omni解决了什么问题，先想象两种截然不同的人。
第一种人是电影《记忆碎片》里的主角莱昂纳德。他患有一种罕见的顺行性失忆症，每隔一段时间记忆就会清空，于是不得不靠拍宝丽来照片、在身上纹字来"记住"事情。每次他想知道自己在做什么，都要翻照片、对笔记、一点一点拼凑出过去发生的事情，极其费力，而且很容易出错。
第二种人则是你生命中那位记忆力惊人的老友。你们三年没见，一坐下来，他立刻想起你喜欢喝无糖咖啡、上次聊到你换工作的事还没说完、你有个养了很多年的猫叫小橘。他不需要翻笔记，脑子里自然就有一张完整的"你的地图"，对话从第一句就顺畅无比。
现有的AI视频助理，绝大多数都是莱昂纳德式的。它们把视频切成一段一段，给每段加上简短的文字描述存起来，等你问问题的时候，再像查字典一样翻找。问题在于，你问问题时用的词，和它存资料时用的词，往往对不上。你说"那个穿红衣服的女生去哪了"，它存的是"16:32至16:45，室内场景，人物移动"——两边词不搭界，翻遍也找不准。为了弥补这个鸿沟，一些更先进的AI助理引入了"侦探式推理"：先把你的问题改写几遍，再生成几个检索关键词，再多次调用工具搜索，最后把结果拼凑成答案。这个过程可能要几十秒，而且每问一次就要重来一次，非常耗费计算资源和时间。
Light-Omni的目标，就是让AI从莱昂纳德变成那位记忆力超群的老朋友——不靠反复翻查，而是靠真正意义上的"记得"。
---
二、一张始终更新的"认知地图"：全局状态是什么
Light-Omni实现这一目标的第一个核心机制，叫做"全局状态"（Global State）。
大脑神经科学告诉我们，人类之所以能对过去的事情如此得心应手，是因为我们的大脑会自动构建一张"认知地图"——不是把每件事都原样存起来，而是把经历过的事按照重要程度和时间顺序整理成一张有层次的全景图。近处的事情细节清晰，远处的事情只保留轮廓，但整体的方向感和上下文始终在线。
Light-Omni的全局状态，就是这张认知地图在AI身上的实现版本。具体来说，它以一种叫做"多模态脚本"的形式存在，同时记录视觉画面、声音内容和对话历史。更关键的是，它采用了一种"分辨率递减的层级合并"策略——这个听起来复杂的词，其实可以用整理旧照片来理解。
整理家庭相册时，你通常会这样处理：最近一个月的照片，一张不删，按天序摆放，细节一清二楚；半年前的，每个月选几张精华合成一页；五年前的，整个夏天可能只剩一两张代表性的合影。这样一来，整本相册既有近期的清晰细节，又有远期的宏观全景，厚度却始终可控，不会因为时间越来越长就越来越笨重。
Light-Omni的全局状态就是按这个逻辑运转的。当最近的记录积累到一定数量（默认是8条），就把最老的8条合并成一个更高层级的摘要节点，这个过程叫做"合并"。合并之后，最新的事件依然保留完整细节，而更久远的事件则被精炼成纲领性的摘要。不管视频有多长，全局状态中的节点数量始终在可控范围内，绝对不会因为内容越来越多而撑爆内存。
这个机制还有一个特别设计的防坑细节：合并只在积累了至少9条记录时才触发，确保最新的那条记录永远不会被提前合并掉，就像相册里的今天永远不会被归档进"多年前"那一页。
---
三、一眼读懂你在问什么：潜在状态与语义对齐
解决了"记得住"的问题，还有第二个同样棘手的难题：记得住，但找不准。
回到语言不对齐的问题上来。你问"那个穿红衣服的女生"，AI存的是"人物移动"，两边词语完全不搭，搜索自然失灵。传统的解决办法是让AI把你的问题"翻译"一遍再去搜，但这个翻译过程本身就要花时间，而且翻译得准不准也是个问题。
Light-Omni的第二个核心机制"潜在状态"（Latent State），采用了一种更直接的方式：不翻译，直接学。
这里有一个关键的技术洞察值得细细说明。AI语言模型在回答问题时，其实并不是直接"读字"，而是把文字转化成一种叫做"向量"的数学表示——可以把它理解成每个词、每句话在一个巨大坐标空间里的位置坐标。意思相近的词，坐标位置也相近；意思相差甚远的词，坐标位置相去甚远。
传统RAG（检索增强生成）系统的问题在于，存记忆时用一套坐标系，查询时用另一套坐标系，两套系统对不上，找出来的东西自然偏差很大。就好比你用中文地址找人，对方的地图是英文标注的，城市还是一样的城市，但就是对不上门牌号。
Light-Omni的做法是，在模型处理当前输入的同时，用一组特殊的"软提示词"（Soft Prompts）作为探针，从模型内部的隐藏层直接提取出一个"检索向量"。这个向量是模型在理解了你的问题、结合了当前全局状态之后自然产生的，天然地与存储记忆时用的语义空间对齐。不需要额外的翻译步骤，语义对齐在一次前向计算（单次信息流通过模型）中就同步完成了。
这就像是你的老朋友，他不是听到你说"红衣服女生"之后才去脑子里搜"红色衣物"，而是在理解整个对话语境之后，自然而然地知道你在说谁，直接就找到了。语境理解和记忆检索，对他来说是同一个动作，不是两个步骤。
除了检索向量，潜在状态还同时产生另一个判断：现在需不需要说话？需不需要主动搜索？这两个判断由两个独立的分类器给出，也是在同一次前向计算中完成的，整个过程不需要任何额外的推理轮次。
---
四、记忆的三种抽屉：用户档案、语义记忆与情节记忆
理解了双状态的机制，再来看看Light-Omni的"长期记忆仓库"是如何组织的。
整个记忆系统被分成三个层次，就像一个精心设计的档案柜，分三个抽屉存放不同类型的信息。
第一个抽屉存的是"用户档案"（User Profile）。这个抽屉里放的是关于人的长期固定信息——这个人是谁、长什么样、有什么习惯和偏好、和视频里其他人是什么关系。系统用面部识别技术自动识别视频里出现的人，给每个人分配一个专属标识符（比如face_0），然后随着对话的深入不断完善这个人的档案。当同一个人在不同时间、不同场景出现时，系统能够保持身份的一致性，不会把同一个人当成两个人。
第二个抽屉存的是"语义记忆"（Semantic Memory）。这个抽屉里放的是从视频内容中提炼出的事实性知识——不依赖于具体时间节点的、相对稳定的信息。比如"张医生认为糖尿病药物会随时间失效"，这是一个观点，不管它是在第5分钟还是第50分钟说的，都是一条有价值的知识。语义记忆以简洁的键值对形式存储，检索时速度快，干扰少。
第三个抽屉存的是"情节记忆"（Episodic Memory）。这个抽屉里放的是按时间顺序排列的具体事件记录，包括精确的起止时间、视觉场景描述、声音内容、对话内容，以及指向原始多媒体数据的指针。情节记忆采用叙事风格递增写入，保证时间连续性，同时不把重复的视觉帧一遍一遍存进来，节省大量存储空间。
这三个抽屉之间通过统一的人物标识符相互关联。当你问起某个人，系统能同时从档案抽屉里取出他的基本信息，从语义抽屉里取出他说过的重要观点，从情节抽屉里取出他出现的具体场景，三方信息汇合，给出一个全面而精准的回答。
---
五、白天干活，晚上整理：异步记忆巩固机制
Light-Omni还有一个特别人性化的设计，叫做"睡眠时巩固"（Sleep-time Consolidation）。
人的大脑在睡眠时会把白天积累的短期记忆转化、整合成长期记忆，这是神经科学中有充分研究支持的现象。Light-Omni借鉴了这个机制。在它的架构里，记忆的整理和更新，并不是在你和它对话的过程中实时进行的，而是异步地在后台悄悄完成。
在实际的在线使用场景中，Light-Omni有三个并行运转的进程。第一个进程始终在线，负责处理实时输入的视频流，做面部识别、声音检测等预处理工作。第二个进程在检测到用户说话结束（或者静默超过30秒）时触发，迅速生成当前状态的双状态表示，决定要不要响应、要检索什么，然后给出回答，整个过程通常在几秒内完成。与此同时，第一个进程把这次交互的数据推入一个队列。第三个后台进程则持续监控这个队列，默默地把队列中的数据整理进长期记忆——生成话题摘要、更新全局状态、完善用户档案。
这个设计的好处是，用户完全感觉不到记忆整理的负担，对话响应始终保持极低的延迟，而长期记忆却在悄无声息地不断完善，就像你睡着之后大脑自动整理记忆，醒来就能记得昨天发生的事一样。
---
六、训练数据从哪来：模拟真实对话的合成流水线
任何AI系统的性能，都高度依赖于训练数据的质量。Light-Omni面临一个现实问题：现有的公开视频数据集，几乎全是为"看完整段视频再回答问题"这种离线模式设计的，根本没有连续互动、跨时段记忆的场景。
为此，研究团队设计了一套完全自动化的数据合成流水线。他们从YouTube等平台收集了2118段公开视频，随机拼接组合，模拟长时间、多会话的交互场景。然后在视频的不同时间节点注入模拟的用户对话——文字问题用文字转语音技术合成为音频，混入原始视频的音轨中，还特意保留了环境噪声和音调特征，让合成的问题听起来像是真实场景中说出来的，而非录音棚里的标准发音。
有了这些场景，研究团队再用一个商业级语言模型（Gemini-3-Flash-Preview）扮演全知的助手，提供完整语境下的标准答案，同时生成中间过程信号——包括记忆应该如何更新、检索应该触发哪些条目、该不该主动说话等等。
整套流水线最终产出了46166个训练样本，分成三个专项数据集分别用于训练三个不同功能的适配器：记忆适配器（负责生成和整理记忆内容，10493个样本）、生成适配器（负责回答问题，4785个样本）、反应适配器（负责决定动作和生成检索向量，30888个样本）。
三个适配器各自独立训练，在推理时根据当前状态动态切换，互不干扰，这种被称为"多LoRA"的设计有效避免了不同任务之间相互"打架"的问题。
---
七、越快越好：两个让延迟再减四成的优化技巧
在双状态机制已经消除了迭代推理负担的基础上，Light-Omni还叠加了两个进一步降低延迟的工程优化。
第一个叫"特征缓存"。在Light-Omni的工作流里，同一段输入视频需要在多个阶段被处理——先用于生成回答，再用于更新记忆。如果每个阶段都重新对视频帧和音频做一次特征提取，这些重复计算加在一起相当可观。特征缓存的思路很简单：对每段输入只做一次特征提取，结果存起来，后续步骤直接复用，不重复计算。仅这一项，就带来了约8%的延迟降低。
第二个叫"冗余剪枝"。视频内容有一个众所周知的特性：相邻帧之间往往极度相似，大量的视觉信息是重复的。就像一段人在台前演讲的视频，背景墙壁、桌子、窗帘几乎每一帧都一样，真正有信息量的只有演讲者的表情和动作变化。Light-Omni在处理视频时，动态评估相邻帧的相似度，对被判断为高度冗余的帧大幅压缩其占用的计算量（压缩到只保留32个关键位置），对信息密度高的帧则正常处理。在帧内部，也进一步根据显著性排序，优先保留最有信息量的视觉区域。
两个优化叠加，总计带来了约42%的延迟降低，而且准确率不降反升——这并不奇怪，因为剔除大量噪音和冗余，往往让模型能更专注于真正有价值的信息。
---
八、实验结果：数字背后的真实差距有多大
研究团队在多个权威的长视频理解基准测试上对Light-Omni进行了全面评测，涵盖VideoMME-long（考察长视频综合理解能力）、LVBench（专注极长视频推理）、HippoVlog（测试音视频事件理解）以及OVO-Bench（在线实时视频理解）。
与直接使用底座模型Qwen2.5-Omni-7B相比，Light-Omni在VideoMME-long和LVBench两个数据集上的平均准确率提升了9.5个百分点，响应速度提升了约20.5倍，GPU显存占用降至原来的三分之一。换句话说，更准确、更快、更省资源，三者同时实现。
与当时最强的竞争对手M3-Agent相比，Light-Omni的平均准确率高出2.4个百分点，速度快了12.1倍，显存效率高出2.6倍。M3-Agent使用的底座模型是Qwen3-32B，参数量是Light-Omni底座模型的四倍多，却在这三个维度上全面落后。
在更广泛的对比中，Light-Omni的整体准确率（64.8%）超过了另一个强劲的对手WorldMM-8B（63.7%），而WorldMM-8B还依赖商业API（GPT-4o-mini）来构建记忆，成本和依赖性都更高。与包含HippoVlog在内的三数据集综合对比中，Light-Omni比M3-Agent的领先优势扩大到了5.9个百分点。
从效率角度看，在处理平均时长约2436秒的视频时，M3-Agent每次对话平均耗时25.91秒，其中检索本身就要16秒；Light-Omni的整体响应时间只需2.28秒，检索只用0.76秒，差距超过11倍。此外，M3-Agent构建一段视频的记忆需要3312秒（比视频本身还长），而Light-Omni只需1753秒，节省了近一半时间。
---
九、当输入充满噪音时，谁的表现更稳健
现实场景中的用户查询，往往不是干净整洁的标准问句。噪音无处不在：你可能把问题混在日常闲聊里说出来，可能用了大量无关的背景信息，可能用语音而非文字提问，周围还有各种杂音。
研究团队专门设计了一组鲁棒性测试，向LVBench的标准输入注入两种噪音。文本噪音的注入方式是在每个问题前面加上四倍于问题长度的随机文本（来自一个大型英文语料库）；音频噪音的注入方式是把问题合成为语音，混入视频最后一段的音轨中。
在文本噪音条件下，标准RAG（传统检索增强方法）的准确率从46.9%暴跌到43.4%，下降了3.5个百分点；经过查询改写优化的RAG-Rewrite从47.6%降到45.2%，下降了2.4个百分点；Light-Omni从49.9%降到49.1%，只下降了0.8个百分点。
音频噪音条件下的差距更为悬殊：标准RAG下降了5.6个百分点，RAG-Rewrite下降了3.7个百分点，Light-Omni只下降了1.3个百分点。
研究团队还可视化了256个带噪声查询与其对应的正确记忆条目之间的相似度矩阵。对于Light-Omni，矩阵的对角线（代表正确匹配）明显比其他位置更亮，说明即便输入充满噪音，它依然能精准找到对应的记忆条目。量化指标上，Light-Omni的信噪比（SNR）为1.352，标准RAG只有1.201。这个差异从数学上印证了双状态机制在语义对齐上的显著优势。
---
十、随着时间无限延伸，记忆不会撑爆
最后一个值得关注的特性，是Light-Omni面对超长时间跨度时的扩展性表现。
研究团队模拟了从一分钟到六个月的不同时长场景，追踪全局状态中的节点数量变化。没有层级合并机制时，节点数量随时间线性增长，到六个月时早已远超内存上限（OOM，Out of Memory）。有了层级合并之后，节点数量的增长速度大幅放缓，呈现出近似对数的增长曲线——即便持续运行六个月，全局状态的节点数仍然不到一小时视频对应节点数的三倍，始终维持在可控范围内。
响应延迟方面，研究团队在三个基准测试集上测试了从约1000秒到约8000秒（超过两小时）的视频，Light-Omni的响应延迟始终在2至6秒之间，平均值只有2.37秒，没有随着视频变长而显著上涨。这种"近常数级"的延迟特性，意味着Light-Omni在理论上可以无限扩展到更长的视频，而不会因为内容增多就变得越来越慢。
---
说到底，Light-Omni在做的事情，是重新思考"AI记忆"这件事的本质。把视频切成碎片、加标签、建索引，这一套方法在AI发展早期是不得已的应对之策，就像没有智能手机之前大家用纸质通讯录记号码一样。现在，Light-Omni提供了一种更接近人类认知方式的替代方案：保持一张实时更新的全景认知地图，让检索和理解在同一个动作中自然完成，把反应时间压缩到接近人类的水准。
从实验数据来看，这条路走通了——不仅走通了，还同时实现了更高的准确率、更低的延迟和更少的资源消耗。更值得关注的是，Light-Omni被设计为一个即插即用的记忆模块，可以直接套在现有的各种视频理解模型上使用。接入Qwen2.5-VL-7B，平均准确率提升4.9个百分点，速度最高加快7.2倍；接入Qwen3-VL-8B，准确率提升2.5个百分点；接入商业模型Gemini-2.0-Flash，准确率提升3.8个百分点。这意味着它不是一个孤立的研究成果，而是一个可以为整个AI视频理解生态带来增量价值的通用工具。
当然，它目前也有局限性。底座模型Qwen2.5-Omni-7B在某些通用能力上仍落后于最新的Qwen3系列，而离线记忆构建的计算成本尽管已经大幅优于同类方法，对于超大规模的视频流处理来说依然是一个非轻松解决的挑战。不过，研究团队指出，把Light-Omni的记忆框架换上更新的底座模型，性能还会进一步提升，这条路依然有很大的上升空间。
这项研究让人思考的一个问题是：当AI系统真正拥有了媲美人类的长期记忆，我们与AI的关系会发生怎样的变化？当它不再是每次都要重新认识你的陌生工具，而是像老朋友一样积累了你们之间的共同历史——这对人机交互的未来意味着什么？对于对这些问题感兴趣的读者，不妨通过arXiv:2607.05511获取完整论文，研究团队也在项目主页上提供了在线演示，可以直观感受Light-Omni的实时交互能力。
---
Q&A
Q1：Light-Omni和普通的视频AI助手相比，核心区别是什么？
A：普通视频AI助手在回答问题时需要多轮检索和推理，像侦探一样反复翻查资料，速度慢且容易出错。Light-Omni通过维护一张始终更新的"全局认知地图"，在单次计算中同时完成理解问题和找到答案两件事，响应速度可以快10倍以上，同时准确率更高。
Q2：Light-Omni的全局状态在视频时间很长时会不会撑爆内存？
A：不会。Light-Omni采用层级合并策略，将久远的记录逐步压缩成摘要，同时保留最近的详细记录，类似于相册越久的照片越精简，整体节点数量始终维持在可控范围内。实验显示即使模拟运行六个月，全局状态节点数也不会超过一小时视频节点数的三倍。
Q3：Light-Omni能用在现有的AI模型上吗，还是必须重新训练一套系统？
A：Light-Omni被设计为即插即用的记忆模块，可以直接与现有模型结合使用。实验中它分别接入了Qwen2.5-VL、Qwen3-VL和Gemini-2.0-Flash，均带来了显著的准确率提升和效率改善，不需要对底座模型进行大规模重训练。
