视频模型难复现艾姆斯错觉。这不是一句简单的技术吐槽,而是一个观察窗口。我前阵子在一个本地部署的测试环境里,试着让视频生成模型生成一段视觉错觉片段,结果发现:静态图像很容易复现出那种一眼看穿的几何错位,但只要一加入镜头运动,画面就开始失去控制,要么错觉效果变弱,要么干脆变成了完全正常的透视场景。
这个现象本身很有代表性。它说明视频生成模型的能力短板并不只在清晰度、帧率这些显式指标上,更藏在一些人类视觉系统天然就会处理,但模型只能靠数据统计去猜测的隐性规律里。艾姆斯错觉恰好是一个非常好的测试样本,因为它本质上利用了人类对透视、尺寸恒常性和运动视差的深层假设,而这些假设恰恰是视频生成模型最难建模的部分。
我想借这个话题,把视频模型在视觉感知层面的挑战拆开讲清楚。文章不会只停留在“模型还不行”这种结论上,而是会解释为什么不行、卡在哪个环节、未来可能怎么突破,以及普通人如果想做类似实验,应该怎么搭建一条最小验证路径。
1. 艾姆斯错觉为什么是所有视频模型的“照妖镜”
1.1 先搞懂艾姆斯错觉到底在测什么
艾姆斯错觉是一个人坐在房间角落,通过一个小孔观察一个特殊构造的房间,结果让人产生房间是普通矩形房间的错觉,但实际这个房间是梯形的。最经典的表现是:站在房间一角的人会被看成巨人和侏儒,因为观察者会按照普通矩形房间的尺寸不变性去解读眼前场景。
这个现象看着像魔术,但在认知科学里,它揭示了人类视觉系统的一个重要默认设定:当我们看到一个场景时,大脑不会逐像素计算实际距离,而是会启动一套快速假设,把常见几何结构当作基准,再结合不同的深度线索去修正。也就是说,我们看到的不是光本身,而是大脑基于光的统计模型。
视频生成模型要复现这个错觉,首先要能理解它,再能主动去合成它。但问题在于,模型训练时接触到的大部分视频素材都来自真实世界,真实房间里不存在违反物理规则的梯形结构,因此模型在学习“房间”这个概念时,学到的其实是矩形房间的先验。要让模型生成一个故意打破几何规则的房间,并且还要让观察者产生错觉,这等于让模型同时做两件事:精确计算空间结构,又故意制造一个虚拟的视觉陷阱。
1.2 静止图片能复现,为什么视频就崩了
很多人会问:那为什么不直接生成一张图片,然后让镜头移动呢?
这个问题恰好问到了要害。静止图片生成艾姆斯错觉只需要解一个空间几何问题:给出一幅呈现梯形房间的场景,保证它在单一视角下看起来像矩形房间。模型只需要在二维平面上画出符合透视关系的内容即可,不需要考虑时间连续性和运动视差。
但视频生成模型面临的要求完全不同。当镜头移动时,场景中的几何结构必须在每一帧上都保持一致性,同时还要符合运动视差规则。更麻烦的是,艾姆斯错觉的原理很大程度上依赖观察者的视角。一旦镜头位置改变,原来形成错觉的透视关系可能会被打破,这时模型需要在“保持错觉”和“保持物理合理”之间做出选择。结果通常是后者赢了,因为训练数据里真实物理规则的权重远大于视觉欺骗。
这其实就是视频模型难复现艾姆斯错觉的深层原因:它们被训练成预测物理世界的专家,而不是构建视觉幻觉的艺术家。它们不太擅长生成那些在真实世界里不可能存在,但在视觉上又完全成立的画面。
1.3 模型学的不是“看”,而是“预测”
换个角度理解,视频生成模型的本质是一个世界模拟器,而不是一个视觉心理学家。它学习的核心任务是通过图像序列推断出某种隐含规律。在训练阶段,它看的是几百万个视频,学到的是“物体如何运动”“遮挡关系如何变化”“透视关系如何保持稳定”。这种模型天然会强化物理一致性,因为它要预测下一帧,就必须依赖于对场景深度和物体形状的稳定表征。
问题就出在这里。如果模型要生成一个不物理的梯形房间,并且让画面看起来自然,它必须能够跳出训练分布,生成的视频既要像真实世界那样连续,又要在几何结构上打破真实世界规则。这是一个矛盾目标。更具体地说,模型内部的注意力机制可能会优先学习显著语义变化,比如人物运动、镜头移动、亮度变化,而忽略空间几何层面的细微异常。艾姆斯错觉需要的恰恰是这些细微异常被精确表达。
所以,与其说视频模型复现不了艾姆斯错觉,不如说它被训练成了只会按照统计规律输出连贯画面的系统。这种系统要主动生成一个“视觉谎言”,其实和它追求的真实性目标是冲突的。
2. 想复现艾姆斯错觉,先拆解任务而不是直接生成
2.1 把需求拆成三个子问题
如果你想尝试用视频模型复现艾姆斯错觉,第一件要做的不是找一个强大的模型,而是先把任务拆解。
整个需求可以拆成三个子问题:
- 场景重建问题:如何生成一个梯形房间的静态图像,并且保证单一视角下看起来像普通矩形房间。
- 运动路径规划问题:怎么设计镜头运动,才能让透视错觉在每一帧都保持合理。
- 时间一致性约束问题:怎么保证跨帧生成时,房间的几何结构不会出现跳变或扭曲。
这三个问题实际上对应了视频生成中的三个核心能力:空间建模、运动建模和时序一致性建模。大部分现成模型在第一个问题上表现尚可,但在第二个和第三个上会逐渐失控。
2.2 单图生成:先验证空间建模能力
第一步建议使用静态图像生成模型来出帧,例如常见的文生图模型。提示词里可以直接写“一个梯形房间,从特定角度看起来像一个普通矩形房间”,也可以手动提供一张参考图来控制结构。
这一步的价值在于验证基础空间建模能力。如果生成的静态帧连基本的透视关系都是乱的,那后续做视频就没有意义。相反,如果静态帧看起来基本合理,说明模型能够理解深度线索,只是时间维度上还需要额外处理。
实际测试时,最好多生成几张不同角度的静态图,做一个快速判断:
- 帧内有没有出现明显透视错乱。
- 墙壁、地板、天花板的交线是否符合单一焦点透视。
- 细节纹理是否连续,会不会出现墙面断裂或扭曲。
- 人物比例在不同距离上是否产生明显的尺寸差异。
这些检查项都是从视觉认知角度出发,比单纯看“像不像图片”更贴近原理。
2.3 视频生成:从固定镜头到缓慢推镜
确认静态帧没问题之后,再进入视频生成阶段。这里有一个非常关键的建议:不要一开始就设计大范围运镜,先尝试固定镜头或者缓慢推镜。
固定镜头加轻微移动,是降低任务难度最有效的方式。因为镜头移动幅度小,模型在相邻帧之间需要做的调整更少,时间一致性压力会小很多。等固定镜头版本能基本稳定出片后,再逐步加入小幅平移、摇移或推拉效果。
在这个阶段你很容易观察到视频模型的“幻觉漂移”现象:静态图中正确的透视结构,一旦进入运动就会慢慢向常规矩形房间靠拢。这说明模型正在用物理先验覆盖视觉先验,本质上在试图把画面拉回它熟悉的分布中。这时候即使增加提示词强度,效果也可能有限,因为这不是语言理解问题,而是生成过程中的隐性约束已经在起作用。
3. 视频模型复现不了的,背后是时间一致性和物理先验的冲突
3.1 时间一致性:每一帧都要在同一套几何逻辑里
视频生成和静态生成最大区别,在于每一帧之间必须保持极强的一致性。一个物体前 10 帧在左边,第 11 帧跳到右边,这不算视频,只是一组图片序列。视频生成模型要通过时间模块学习帧与帧之间的运动光流,确保物体位移符合运动规律。
但艾姆斯错觉需要的不是普通一致性,而是“错误几何关系”的一致性。模型必须让梯形房间在每帧画面中都呈现类似的透视错位,同时还要保持运动平滑。这等同于要求模型在明知物理上不合理的前提下,维持一个稳定的视觉谎言。
这里就出现了一个核心矛盾。模型训练时的主要目标之一是避免生成物理解体画面,因为那种画面在人类看来非常不自然。现在要求它生成一种“看起来自然但其实不符合物理”的画面,困难并不在单帧构图,而在整个视频序列的全局约束。每一帧画面不仅要服务于当前帧的视觉逻辑,还要服务前后帧的运动连续性。
3.2 物理先验为什么总在关键时刻“叛变”
如果你观察过生成视频,应该会发现一个很普遍的现象:当一个物体快速运动时,它的形状边界会开始变得模糊或者轻微变形。这不是模型不会画物体,而是模型在做预测时更倾向于维持外观权重更高的特征,同时牺牲次要边界细节。
同样的机制发生在艾姆斯错觉的视频生成中。模型识别的深层特征可能是“这是一个房间”,而不是“这是一个违反透视规则的房间”。因此在生成过程中,模型会更倾向于保持房间结构的稳定感和规则感,自动修正掉那些看起来“奇怪”的空间关系。这种修正过程不是显性的,而是生成模型在每一帧采样时的一个统计偏好。
所以你会看到:如果某一帧画面的梯形结构稍微有点歪,下一帧模型可能会自动把墙壁拉正,而不是继续维持变形结构。从局部看,每帧画面都合理,但从整体看,错觉效果消失了。
3.3 单独换更强模型,未必能解决问题
一个很自然的想法是:既然现有模型不够好,那换更大的模型行不行?
答案可能是“有一定帮助,但不是关键”。更大模型意味着更强的拟合能力,可以生成更细腻的纹理,更好地模拟镜头运动,但不一定意味着能建模“规则的例外”。因为模型学习的动力是匹配训练数据的整体分布,而训练数据中几乎没有“艾姆斯错觉房间”这一类别。即使有少量包含视觉错觉的视频素材,模型也不会把它当作一个稳定类别来学习,因为它与主流视频分布差异过大,在统计上占比极低。
这就像一个人平时看惯了方形门窗,你再怎么训练他判断“这个门是平行四边形”,他也会身体本能地按方形去理解。视频模型面对的正是这种困境。
4. 如果真想实践,我建议按这条路线走
4.1 路线一:先控单帧,再做插帧
一个更实用的思路是绕开端到端视频生成,改成两步式流水线。
第一步先生成若干关键帧,保证每一帧的艾姆斯错觉结构都准确。第二步再用视频生成模型或帧插值工具,把关键帧之间的过渡补全。这种做法的好处是,把最难的几何控制问题从前置模型里剥离出来,交给关键帧生成阶段去解决,而时间一致性任务则交给插值阶段去处理。
这里需要提醒的是,关键帧之间的间隔不要太大,否则插值结果会非常不稳定。比较稳妥的做法是每两三秒生成一个关键帧,让模型计算的中间帧运动量更小。如果你有视频编辑基础,也可以先手动搭建一个简单的 3D 场景,用三维动画渲染出参考视频,再让视频模型参考这个视频重新生成。这样模型更容易学会正确的时间一致性模式。
4.2 路线二:利用 ControlNet 或姿态控制类方案
如果你使用的是支持 ControlNet 的生成流程,可以尝试利用深度图、边缘图或法线图来控制画面结构。当视频生成模型支持空间控制时,你可以把每一帧的深度信息输入进去,强制模型在正确的位置上保留梯形结构。
对于艾姆斯错觉这个案例,深度控制显得格外重要。因为错觉的产生与深度线索的结构密切相关,只要深度信息可靠,模型生成时就有更大的概率保留正确几何。如果模型本身支持把深度图序列作为条件输入,那这就是目前最接近可控生成的方式。
4.3 实验验证:什么结果才叫“复现成功”
做实验之前,最好先定义什么是成功。艾姆斯错觉的视频复现,不能只看单帧画面是否像错觉图片,还要看动态观察中错觉是否仍然成立。一个稍微宽松一些的验收标准是:在运动过程中,观众的几何直觉是否会被误导。
你可以做一个小规模测试,让几个不太了解艾姆斯错觉的人看生成视频,并询问他们是否觉得房间是一个普通房间。如果多数人仍然产生错觉,说明视频在动态条件下较好地保留了空间欺骗性。如果观众很快识别出房间结构异常,那说明模型还是没能逃出物理先验的约束。
这个评测方法虽然主观,但对这个任务来说可能比客观指标更贴合实际。
5. 视频模型和 AI 内容生产的关系,远超我们想象
5.1 从复现错觉看视频模型的分层能力
艾姆斯错觉只是一个例子,但它能帮我们理解视频模型的能力分布。
从文本到图像是跨模态生成,这个过程已经相对成熟;从图像到视频是时序扩展,这个过程正在发展;但从视频到“真实感幻觉”则需要更深层的认知建模。视频生成模型未来真正要突破的,可能不光是清晰度和流畅度,而是理解“哪些视觉特征可以违背物理,却不违背人类感知”。
这对内容创作行业的影响很大。广告、动画、电影特效常常需要故意制造视觉错觉。比如缩小人特效、悬浮物、超现实场景,它们本质都是反物理的,但需要以视觉可信的方式呈现。如果视频生成模型能学会这类控制,创作者就能用一句话生成复杂的超现实镜头,而不是依赖传统后期手调。
5.2 对普通用户意味着什么
普通用户可能不关心几何建模,但一定关心“提示词能不能达到预期”。从艾姆斯错觉这个案例可以看出,当模型生成结果不符合预期时,不一定是你提示词写得不好,很可能是这个问题本身已经超出了模型的统计能力边界。
也因此,使用视频生成模型时,要有意识地判断任务是属于“高概率分布任务”还是“低概率创造性任务”。日常场景、人像、风景属于前者,罕见几何结构、超现实构图、规则异常属于后者。对于低概率创造性任务,可能需要配合图像编辑、视频插帧、3D 渲染或后期合成来达成目标,单纯靠提示词是不现实的。
5.3 我们可以期待什么
从短期来看,视频模型想稳定复现艾姆斯错觉,仍然有很长的路要走。但随着模型训练数据中纳入更多人为设计的视觉实验、可编辑结构控制能力的增强,甚至是三维感知模块的直接嵌入,这类任务可能在未来一两年内有明显改善。
关键在于模型是否能够从“像素世界模拟器”进化为“视觉认知模拟器”。前者会画世界,后者懂人怎么看世界。真正的 AI 视频模型,应该不是只会叠加帧数的渲染器,而是了解视觉主观性的创作者。
实践时,我建议你先从最小的实验开始:用一张艾姆斯错觉参考图,跑一段 5 秒固定镜头视频,观察模型是否会在前几帧就产生几何漂移。如果模型在极短时间段内就能稳住结构,那再考虑复杂运动也不迟。如果前几帧就已经崩了,那就优先尝试控制类方案,而不是继续换更大的模型。
模型可以帮你生成千万种世界,但什么才是真正值得被看见的世界,仍然需要人来判断。