news 2026/5/26 7:36:50

罗福莉的两个反共识 Hybrid Attention架构(混合注意力),其中,Hybrid Sliding Window Attention(混合滑动窗口注意力)和 Full Attention(全局

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
罗福莉的两个反共识 Hybrid Attention架构(混合注意力),其中,Hybrid Sliding Window Attention(混合滑动窗口注意力)和 Full Attention(全局

罗福莉的两个反共识

原创 邱晓芬 智能涌现2025年12月17日 16:39北京

在小说阅读器中沉浸阅读

1、AI的发展根基不稳固,像是空中楼阁;2、数据和算力,不是AI真正的护城河。

邱晓芬

编辑苏建勋

官宣加入小米一个月后,原Deepseek核心成员、被称为“天才少女”的罗福莉首次露面,并在小米“人车家全生态合作伙伴大会”上公开发表演讲。

这次亮相,她的身份是小米MiMo大模型的负责人。

罗福莉略显紧张,偶尔卡壳。在演讲开场,罗福莉将AI的演进与生物进化做对比,指出AI正在以非线性的方式重演人类大脑6亿年的进化史。

在她看来,经过了强化、模拟、心智的发展,语言是生物智能最后的产物,而AI的发展则是完全反过来——大模型是从语言开始解码人类的思维,自上而下倒推智能的产生。

为此,小米也从语言出发,发布了全新的语言基座模型 MiMo-V2-Flash。据其介绍,这一大语言模型的核心特点可以概括为三点:更强的代码和工具调用能力、更高推理效率和更低成本、更强的强化学习训练。

具体而言,为了实现极致推理效率,罗福莉团队重新设计了模型结构,其中包括两项核心创新。

据罗福莉介绍,小米 MiMo-V2-Flash采用了Hybrid Attention架构(混合注意力),其中,Hybrid Sliding Window Attention(混合滑动窗口注意力)和 Full Attention(全局注意力)的比例大概是 5:1。

这种架构的好处是,不仅能适配当代主流的Infra推理框架,还兼顾长短文推理和知识检索的综合性能。

其次,小米也挖掘MTP(Multi-Token Prediction,多令牌预测)的潜力。

MTP最早是用于推理加速,后来DeepSeek将其用于提升基座模型。

而小米也在训练时加入了一层MTP层以提升基座潜能,并在微调时加入了更多层的 MTP,这样使得用少量算力就提升了 MTP 层的接受率,实现2.2到2.6倍的推理加速。

罗福莉用价格和效率列了一个象限,证明MiMo-V2-Flash的优势。

比如,在参数方面,MiMo-V2-Flash的总参数只有309B(激活15B),相比于Deepseek V3.2和Kimi K2 Thinking,参数量减少了1/2-1/3。

而在推理的速度方面,MiMo-V2-Flash是Deepseek V3.2的三倍,成本更是比Gemini 2.5pro低了20倍。

除了在预训练方面进行模型架构创新,小米大模型团队也在思考如何扩展强化学习训练。一直以来,强化学习训练通常不稳定,罗福莉提出了 MOPD(Multi-Teacher On-Policy Distillation,多教师在线策略蒸馏) 范式。

据介绍,MOPD是一种学习效率更高的模式,简短的几十步就能将各领域专家的能力快速蒸馏到 Student 模型上。

MiMo-V2-Flash目前初步具备模拟世界的能力,可以用HTML来写操作系统、模拟太阳系、或者是让它画一棵圣诞树等等。

她认为,下一代的智能体并不是一个简单的“语言模拟器”,而是一个真正理解世界、与人类共存的智能体。而要实现这一愿景,Agent关键需要具备两项潜能。

首先,在执行层面,Agent需要从过去只会回答问题,到能够完成任务,实现记忆、推理、自主规划、决策、执行的全链路闭环。

另外,在感知层面,下一代Agent也需要有统一的多模态感知,为理解物理世界打好基础——这才有利于嵌入智能眼镜等全新智能终端,融入人类日常的工作流里。

在演讲末尾,罗福莉也发表了对于当前AI行业的两点反共识看法。

在罗福莉看来,大模型本质上是一种算力的暴力美学,直接从语言入手,但跳过了对世界的感知磨砺(即下图第三层的“模拟”),也缺乏实体,跳过与世界产生交互的环节(即下图第一层的“转向”),像是“空中楼阁”一般。

比如,当前的大模型虽然能力超群,但并不懂重力这种物理法则,也产生了很多具身的幻觉。“大模型只有一个完美的语言外壳,而缺乏锚定现实世界的物理模型”,她表示。

为此,罗福莉表示,AI的下一个起点是,需要有一个和物理世界产生交互的物理模型。

她认为,AI本质上要打造的不是一个程序,而是一个在物理上有一致性、时空上有连贯性的“虚拟宇宙”。AI不是要看画面、理解文本,而是要推演整个世界的真实逻辑。“真正的智能不是从文本里读出来的,而是在交互里产生的”。

谈及竞争力方面,罗福莉认为,算力和数据并不是真正的AI护城河,而是研究文化和研究方法,将未知的问题结合模型优化成可用产品能力。

首次公开演讲,罗福莉还借此机会打了广告。她直言,小米的大模型核心团队是一个研究、产品、工程深度耦合的团队,充满创业精神,而且极度好奇、追求真理。

罗福莉回忆道,当她开始研究大模型时,国内的开源大模型与国外的大模型代差有三年的时间,但现在的差距只有几个月。

“我相信开源的价值,本质上是一种分布式技术加速主义,开源是 AGI实现普惠化,确保所有人类智慧共同进化的唯一路径”,罗福莉表示,从数据的极速压缩到算法范式创新,再到物理空间的深度链接,小米将与全球 AI共同定义未来。

(文内图片来源均为作者拍摄)

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/26 6:08:35

颠覆传统体验:scrcpy如何重塑安卓设备管理生态

颠覆传统体验:scrcpy如何重塑安卓设备管理生态 【免费下载链接】scrcpy Display and control your Android device 项目地址: https://gitcode.com/gh_mirrors/sc/scrcpy 在当今数字化工作环境中,安卓远程控制技术正迎来革命性突破。scrcpy作为一…

作者头像 李华
网站建设 2026/5/26 6:09:19

构建隐私保护下的联邦学习测试数据方案

联邦学习作为一种分布式机器学习范式,允许在多个客户端(如移动设备或机构服务器)上训练模型而无需集中原始数据,从而显著增强了数据隐私和安全性。然而,这种去中心化的特性也为测试工作带来了独特挑战,尤其…

作者头像 李华
网站建设 2026/5/26 6:09:19

智慧城市系统集成测试的挑战与创新实践

智慧城市系统特性与测试范式转变 随着物联网设备数量突破百亿级(2025年Gartner数据),智慧城市系统呈现三大典型特征: 异构数据贯通:交通监控、环境传感、政务平台等跨领域数据需实现秒级融合 实时决策闭环&#xff1…

作者头像 李华
网站建设 2026/5/25 17:18:17

构建智能化软件测试新范式:人机协同测试流程设计与实践

测试行业的发展拐点 随着人工智能技术的迅猛发展和软件系统的日益复杂化,传统的软件测试方法正面临前所未有的挑战。测试用例爆炸式增长、敏捷开发周期不断缩短、用户体验要求持续提升,这些因素共同推动着测试行业走向智能化转型的关键拐点。人机协同测…

作者头像 李华
网站建设 2026/5/26 6:09:59

赋能软件测试:智能决策支持如何重塑测试投资回报

在数字化浪潮席卷全球的今天,软件已成为企业运营和创新的核心驱动力。作为软件质量保障的关键环节,软件测试的重要性不言而喻。然而,测试团队常常面临资源有限、时间紧迫、需求多变等挑战,如何在复杂的项目环境中做出科学的测试投…

作者头像 李华