news 2026/7/10 9:57:20

【AIGC】SCAIL:通过对 3D 一致姿态表示进行上下文学习,实现工作室级角色动画

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【AIGC】SCAIL:通过对 3D 一致姿态表示进行上下文学习,实现工作室级角色动画

参考论文:https://arxiv.org/pdf/2512.05905

参考github: https://github.com/zai-org/SCAIL

主要贡献

(1) 我们提出了一种可扩展的 3D 姿态表示方法,该方法融合了 2D 骨架和 SMPL 的优势,可作为鲁棒的运动驱动信号。(2) 我们通过上下文推理注入驱动姿态控制,实现了有效的时空运动建模,在复杂的多人场景中取得了优异的成果。(3) 我们构建了一个高质量、多样化训练数据的收集流程,并建立了一个全面的 Studio-Bench 用于系统评估。(4) 我们的 SCAIL 框架在现有基线方法的基础上实现了最先进的性能,并将角色图像动画推向了生产级应用。


三维一致姿态调节

问题

二维关键点无法编码三维遮挡,使得模型难以从不完整或模糊的姿态信号中生成逼真的运动视频。另一个挑战来自参考图像和驱动姿态之间的差异,二者通常在体型或身份上有所不同。之前的研究[30, 38]通过在训练中缩放二维骨架或在测试中采用启发式重定向来缓解这种差异,但二维衍生的自适应方法本身就存在形变问题。

理想状态

参考姿态表示应该能够感知深度和遮挡,保持与身份无关,并具备扩展到多人场景的潜力。

解决问题

为了保留 2D 投影中丢失的遮挡和深度线索,我们将 3D 骨骼渲染为圆柱形片段,以提供运动驱动信号。

示意图

全上下文驾驶姿态注入

用于姿态上下文的移位 RoPE

数据过滤pipeline

网络结构

实验细节

我们训练了模型的两个版本(1.3B 和 14B)。1.3B 模型基于 Wan2.1-1.3B-Fun-Inp 骨干网络,在我们的预训练数据集上进行微调,训练步数为 6000 步,批大小为 96,学习率为 1e-5,使用 32 个 NVIDIA H100 GPU,耗时约两天。对于更大的 14B 模型,我们分两个阶段基于 Wan2.1-I2V-14B 骨干网络进行微调:在预训练阶段,我们以 96 的批大小训练 8000 步,学习率为 1e-5。初始学习率为 1e-5;收敛后,我们以相同的批大小和较低的学习率(4e-6)进行 400 步的额外微调。14B 模型的训练在 128 个 NVIDIA H100 GPU 上进行,历时四天以上,并启用了序列并行。所有模型均使用 AdamW [21] 进行优化。在推理过程中,我们将无分类器引导 (CFG) 的尺度 [10] 设置为 4,从而在姿态跟踪和视频保真度之间取得良好的平衡。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/9 18:34:56

量子门序列设计难题,如何用R包实现精准控制?

第一章:量子门序列设计难题,如何用R包实现精准控制?在量子计算中,精确操控量子态依赖于高效的量子门序列设计。由于量子系统极易受噪声干扰,传统手动构造门序列的方法难以满足高保真度需求。近年来,利用R语…

作者头像 李华
网站建设 2026/7/10 3:25:48

罕见同台!Gemini负责人:2036年机器可具备意识!Lecun:Meta煮干了几片湖就为了给GPU降温,LLM吸走了所有资源

在最新采访中,图灵奖得主、Meta前首席科学家、LLM的“悲观派”Yann LeCun再度敲钟,强调LLM的不断扩展并不能通向真正的AGI,并警告其吸走了不少研究资源!“大语言模型并不是通向人类水平智能的路径,真的不是。现在的问题…

作者头像 李华
网站建设 2026/7/10 12:33:35

农业传感器数据看不懂?用PHP三步实现智能可视化分析

第一章:农业传感器数据可视化的核心挑战在现代农业系统中,传感器网络持续采集土壤湿度、气温、光照强度和作物生长状态等多维数据。然而,将这些海量、异构且高频率的数据转化为直观可视的图形界面,面临诸多技术挑战。数据的实时性…

作者头像 李华
网站建设 2026/7/10 10:20:05

高并发场景下的Symfony 8缓存优化策略(千万级流量验证)

第一章:高并发场景下Symfony 8缓存机制的核心挑战 在高并发系统中,Symfony 8 的缓存机制面临性能、一致性和可扩展性等多重挑战。随着请求量的急剧上升,传统的文件系统缓存已无法满足毫秒级响应的需求,容易成为系统瓶颈。 缓存后…

作者头像 李华
网站建设 2026/7/9 13:24:48

【量化风控专家亲授】:基于R语言的Copula参数估计全流程拆解

第一章:Copula模型在金融风险管理中的核心价值在现代金融风险管理中,资产收益之间的相关性结构建模至关重要。传统线性相关系数(如Pearson相关系数)难以捕捉极端市场条件下的非对称依赖关系。Copula模型通过将联合分布分解为边缘分…

作者头像 李华
网站建设 2026/7/10 10:46:24

R Shiny多模态导入陷阱揭秘:80%项目失败背后的隐藏Bug

第一章:R Shiny多模态导入陷阱揭秘:80%项目失败背后的隐藏Bug 在构建复杂的R Shiny应用时,开发者常需导入多种数据格式(如CSV、Excel、JSON)和外部库(如plotly、shinydashboard)。然而&#xff…

作者头像 李华