TMR-SOMA-RP-v1：NVIDIA革命性文本到动作检索模型完全指南

TMR-SOMA-RP-v1：NVIDIA革命性文本到动作检索模型完全指南

【免费下载链接】TMR-SOMA-RP-v1项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/TMR-SOMA-RP-v1

TMR-SOMA-RP-v1是NVIDIA推出的革命性文本到动作检索（Text-to-Motion Retrieval）模型，它通过将文本提示和人类动作片段嵌入到共享的 latent 空间，实现了高效的动作检索和评估功能。这款模型基于Transformer架构构建，特别适用于角色动画和类人机器人领域，为开发者提供了强大的动作生成评估工具。

什么是TMR-SOMA-RP-v1？

TMR-SOMA-RP-v1是一个多模态动作与语言模型，采用双编码器架构，能够将文本和动作数据转换为256维的 latent 嵌入向量。该模型在Bones Rigplay数据集上训练，使用SOMA骨骼结构，非常适合评估如Kimodo Motion Diffusion Model等动作生成模型。

核心功能亮点

• 文本到动作检索：通过文本描述快速搜索大型人类动作数据库
• 动作生成评估：支持R-precision和FID等评估指标计算
• 高效嵌入系统：将文本和动作数据映射到共享向量空间
• 多领域适用性：适用于角色动画、游戏开发和机器人技术

技术架构解析

TMR-SOMA-RP-v1采用先进的Transformer架构，包含两个核心编码器：

模型规格

• 动作编码器：4.8M参数，处理三维关节位置矩阵
• 文本编码器：5.8M参数，处理文本描述字符串
• 输出维度：256维 latent 嵌入向量
• 最大动作时长：10秒（300帧，30帧/秒）

输入输出格式

输入类型：

• 文本：字符串格式（一维）
• 动作：关节位置矩阵（三维：num_frames x 30 x 3）

输出类型：

• 文本嵌入向量（256维）
• 动作嵌入向量（256维）

快速开始使用指南

环境要求

TMR-SOMA-RP-v1需要以下环境支持：

• 运行时引擎：PyTorch
• 支持操作系统：Linux、Windows
• 推荐硬件：NVIDIA GPU（Ampere、Blackwell或Lovelace架构）

获取模型

要开始使用TMR-SOMA-RP-v1，首先克隆仓库：

git clone https://gitcode.com/hf_mirrors/nvidia/TMR-SOMA-RP-v1

模型文件位于项目目录中：

• 动作解码器：last_weights/motion_decoder.pt
• 动作编码器：last_weights/motion_encoder.pt
• 文本编码器：last_weights/text_encoder.pt

配置文件说明

模型配置存储在config.yaml中，关键参数包括：

• latent_dim: 256- 嵌入向量维度
• num_layers: 6- Transformer层数
• num_heads: 4- 注意力头数量
• stats_path- 统计数据路径，指向stats/motion/目录

实际应用场景

TMR-SOMA-RP-v1在多个领域展现出强大的应用价值：

动作生成模型评估

作为Kimodo Motion Generation Benchmark的一部分，TMR-SOMA-RP-v1提供了客观的评估指标，帮助开发者量化动作生成模型的性能。

动画数据库检索

通过文本描述快速检索大型动作数据库，例如：

• "walking forward"
• "waving right hand"
• "jumping high"

机器人动作规划

为类人机器人提供动作理解能力，通过自然语言指令检索和执行预设动作。

训练与评估数据

训练数据集

TMR-SOMA-RP-v1在专有Bones Rigplay数据集上训练：

• 文本数据：少于10亿tokens
• 动作捕捉：700小时人类动作
• 骨骼结构：SOMA骨架
• 标注方法：自动/传感器与人工混合标注

评估表现

模型在包含约5k个独特动作的内部评估数据集上表现优异，特别适合评估仅在训练集上训练的动作生成模型。

局限性与注意事项

尽管TMR-SOMA-RP-v1功能强大，但仍有一些局限性需要注意：

• 对动作细节的敏感性有限，例如可能难以区分"挥右手"和"挥左手"
• 仅针对特定类型动作优化（如移动、手势、战斗、舞蹈和日常活动）
• 特定于SOMA骨架和单一身体比例

许可证信息

TMR-SOMA-RP-v1发布于NVIDIA Open Model License下，支持商业使用。

引用与参考文献

如果您在研究中使用TMR-SOMA-RP-v1，请引用以下论文：

TMR: Text-to-Motion Retrieval Using Contrastive 3D Human Motion Synthesis, Petrovich et al., ICCV 2023

更多信息请访问Kimodo项目网页。

总结

TMR-SOMA-RP-v1代表了文本到动作检索技术的重大进步，为开发者和研究人员提供了一个强大的工具，用于评估动作生成模型和构建基于文本的动作检索系统。其高效的双编码器架构和广泛的硬件支持使其成为动画制作、游戏开发和机器人技术领域的理想选择。

无论您是开发角色动画系统，还是构建先进的机器人动作规划平台，TMR-SOMA-RP-v1都能为您的项目带来革命性的文本到动作检索能力。

【免费下载链接】TMR-SOMA-RP-v1项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/TMR-SOMA-RP-v1