标题
MrFlow三阶段加速图像生成,端到端加速10.35倍,免训练加速优势显著!
AI画图现状与问题
AI画图能力日益增强,但用户却总感觉一个字:慢。一张1024分辨率的图像,从给出提示到生成图像,扩散模型往往要在高分辨率空间里反复采样。虽然图像质量提高了,但等待时间也变长了,而且能力越强,推理成本就越高。
过往加速方法局限
在过往扩散模型的主流加速方法中,量化、高效Attention等方法严重依赖硬件协同;步数蒸馏需要高成本微调,且训练时常常不稳定;特征缓存类方法需要动态识别并缓存中间特征,且加速比难以超过5倍。
MrFlow的尝试与效果
来自北航、NTU、ETH的研究团队最近做了一个非常简单的尝试:先以低分辨率打草稿,再放大图像,最后进行高清修补。MrFlow(Multi - Resolution Flow Matching)采用这样的三阶段方法,在Qwen - Image等模型上,将端到端生成时间从49.32秒压缩到4.77秒,实际加速10.35倍。文章发布当日便登上Hugging Face Daily Papers;发布三天内,GitHub已获得200多个星标;目前也已登上Hugging Face Trending Papers。与此同时,社区创作者们已经开始围绕MrFlow进行尝试、讨论和拓展。
加速原理
MrFlow为何能用如此简单的流程实现10倍量级的端到端加速呢?先来看加速的来源。MrFlow的默认强加速配置是12 + 1:低分辨率阶段运行12步,高分辨率阶段仅推理1步。在原生高清生成中,大部分计算量都集中在高分辨率采样上。而MrFlow将主要计算量转移到低分辨率阶段,高分辨率阶段仅进行短程细节补充。中间的VAE、超分、噪声准备等额外步骤的开销并不大,计入总时间后,仍能实现10倍以上的端到端加速。
生成效果
在10倍量级的加速下,MrFlow能够稳定地生成清晰、干净的图像,定量指标显示差距可控制在约1%以内。例如,在Qwen - Image上实现了10.3倍加速,在FLUX.1 - dev上实现了8.25倍加速。
多级分辨率设计思路
图像天然具有的空间信息结构为降低分辨率这种简单高效的生成方式提供了条件。主体是谁、位置在哪里、姿态如何、构图是否合理、整体语义是否符合提示——这些信息并不一定需要直接在高分辨率空间中从头计算。较低的分辨率几乎不会严重破坏原有的语义信息,能够保持整体的空间结构,同时图像tokens数量会呈平方级减少。MrFlow正是抓住了这个机会:先以较低成本生成图像结构,最后再精细修饰细节。而这两者之间可以直接通过预训练的超分辨率模型进行衔接。
各步骤细节
1.低分辨率结构生成:让原始模型在低分辨率latent空间中生成一张图像。这一步负责确定全局结构,包括主体、布局、语义和颜色氛围。低分辨率的好处很明显:图像token数量呈平方级减少,每一步的计算成本都较低;低频结构更容易收敛,总步数也可以减少。
2.回到像素空间超分:将低分辨率结果解码成图像,然后进行超分以提高分辨率。这里有一个关键选择:不在latent空间中直接放大,而是在像素空间中放大。因为在latent空间中采样虽然看似省事,但容易导致后续处理时出现局部模糊、纹理混乱、结构破坏等问题。像素空间超分更像是在已确定的画面基础上进行进一步加工:保留结构、补充细节,并且能够充分复用过往先进的预训练超分模型。论文中还专门比较了不同的超分策略。直接插值和部分基于回归损失训练得到的超分模型容易产生模糊,扩散式超分可能会改变局部语义,而Real - ESRGAN等基于GAN的超分模型在清晰度、稳定性和速度之间取得了更均衡的效果。
3.添加噪声并进行高清修缮:超分后的图像已经接近高清图像,但仍然存在不可避免的局部细节不清晰或语义混乱的问题,尤其是在涉及文本生成时。原因很简单:超分网络不理解提示信息,可能会补充出看起来合理但语义上并不完全正确的纹理。因此,MrFlow会将超分图像重新编码回latent空间,先注入一小部分低强度噪声,为下一步重写做准备。由于超分没有改变主体的低频信息,且补充的高频信息中只有少部分需要进一步修缮,通常只需要添加强度约为0.12的噪声进行高频信号覆写即可。最后,将其交给原始flow - matching模型进行单步高分辨率refine。只需要1步是因为前面的低分辨率生成和超分已经提供了足够的有效信息,覆写错误信号所添加的噪声强度很低,因此高分辨率的推理起点自然地落在靠近干净图像一侧的轨迹上,沿直线方向单步采样即可。
与其他免训练加速方法对比
结合权衡曲线和方法实现来看,MrFlow具有显著优势:配置灵活、高效准确、代码简单,Geneval测试指标 - 加速比折线始终位于图像右上角,稳定优于其他各类免训练加速方法。其中,在4倍以上的端到端加速比下,Cache类方法很快就会失效。而其他多级分辨率加速方法都是在latent空间中进行上采样,容易出现模糊、伪影、局部结构变形等问题,并且在不同模型上的泛化性存在明显差异。从视觉对比上看,这类方法与MrFlow的差异比测试指标更为明显:这些方法在高加速比下经常会出现局部纹理塌陷或结构不稳定的情况,而MrFlow能够更好地保留细节。将各类方法生成的图像放在一起对比时,也能看到相同的趋势:MrFlow在免训练方法中实现了最佳的速度 - 质量平衡;与蒸馏类方法结合后,还能进一步提高加速效果。例如,在Qwen - Image和FLUX.1 - dev上的对比示例都体现了这一点。
适用范围与叠加加速
论文和开源仓库中已经涵盖了多种先进模型。值得注意的是,MrFlow还能与时间步蒸馏模型叠加使用,相比原始的50步基础模型,可实现25倍以上的加速。也就是说,如果你已经拥有Pi - Flow、Z - Image - Turbo这类蒸馏模型,MrFlow无需重新训练一套组合方案,而是可以直接在现有权重的基础上继续提高速度。
开源与插件
作者在GitHub仓库中已经整理好了一键运行的最小demo和各个模型的完整参数化示例。此外,除了常规的算法代码外,还直接提供了ComfyUI插件示例,社区创作者可以直接使用。目前,社区中已经有MrFlow在Krea - 2等最新模型上的实现。
补充讨论
多级分辨率策略在以往的工作中其实也有迹可循,社区中的Hires.fix等流程早已在pixel空间中引入超分。不同的是,MrFlow并非旨在将预训练模型推向更高分辨率的绘图领域,而是专注于在训练能力范围内实现生成加速,并通过系统实验分析了其流程有效的原因。换句话说,MrFlow关注的不是“能否绘制更大的图像”,而是“既然模型已经具备绘图能力,能否减少在高分辨率空间中进行不必要的计算”。基于这个问题,先在低分辨率阶段完成整体布局,再在高分辨率阶段补充细节,是一种更有针对性的算力分配方式。更合理地规划计算的粗细粒度,这就是MrFlow简单却有效的原因。
相关链接
论文题目:Multi - Resolution Flow Matching: Training - Free Diffusion Acceleration via Staged Sampling
论文链接:https://arxiv.org/abs/2607.01642
代码链接:https://github.com/Xingyu - Zheng/MrFlow
Hugging Face Daily Paper:https://huggingface.co/papers/date/2026 - 07 - 03
Hugging Face Trending Papers:https://huggingface.co/papers/trending