5分钟实现摄像头实时动作捕捉：MediaPipe+Unity搭建低成本动捕系统

1. 项目概述：从摄像头到虚拟世界的实时桥梁

看到这个标题，很多朋友的第一反应可能是：“5分钟？真的假的？” 作为一个在实时动作捕捉和游戏开发领域摸爬滚打了多年的开发者，我可以负责任地告诉你，核心流程确实可以在5分钟内跑通。这背后，是Google MediaPipe和Unity两大成熟生态为我们铺平了道路。这个项目的核心价值在于，它用极低的硬件门槛（一个普通USB摄像头）和简洁的代码，搭建了一座从现实世界到虚拟世界的实时动作捕捉桥梁。

简单来说，这个项目就是：用Python运行MediaPipe，实时分析你的摄像头画面，提取你身体关键点的三维坐标，然后通过网络（比如UDP或TCP）将这些坐标数据实时发送给Unity。Unity端收到数据后，驱动一个绑定好骨骼的3D角色，让它完全复刻你的动作。整个过程是实时的，延迟可以做到非常低，足以满足直播、体感游戏原型、虚拟试衣、远程协作演示等多种场景的需求。无论你是想做个有趣的直播效果，还是为你的独立游戏增加一个体感控制模块，亦或是进行动作分析的教学演示，这套方案都是一个绝佳的起点。

2. 核心思路与技术选型解析

2.1 为什么是Python + MediaPipe + Unity？

这个技术栈的选择，是经过深思熟虑的平衡结果，兼顾了开发效率、性能、效果和生态成熟度。

Python端：快速原型与强大AI生态Python在这里扮演了“感知大脑”的角色。选择Python的首要原因是MediaPipe官方提供了极其完善的Python API。MediaPipe是Google开源的一个跨平台多媒体机器学习模型应用框架，其Pose解决方案在轻量级、实时性和准确度上取得了非常好的平衡。它能在CPU上实时运行，无需昂贵的GPU，这大大降低了入门门槛。我们用Python写一个脚本，调用mediapipe.solutions.pose，几十行代码就能稳定地从摄像头获取包含33个关键点（如鼻、肩、肘、腕、髋、膝、踝）的姿势数据。Python的另一个优势是网络编程库（如socket）简单易用，能轻松地将数据打包发送出去。

Unity端：强大的渲染与动画驱动Unity则是“呈现与交互身体”。作为全球最流行的实时3D开发平台，Unity在角色动画、场景渲染和跨平台发布上有着无可比拟的优势。我们需要Unity来加载一个3D人形角色模型（Avatar），并接收来自Python的数据流。Unity内置的Mecanim动画系统和Humanoid Avatar系统，允许我们通过脚本直接控制骨骼的旋转，从而实现驱动。Unity强大的物理引擎、光影系统和庞大的资源商店，也让我们可以轻松地构建出丰富的应用场景，而不仅仅是让一个模型动起来。

通信桥梁：简单可靠的本地网络两者之间的通信，通常采用本地网络协议，如UDP或TCP。UDP无连接、速度快，适合对实时性要求极高、允许少量数据丢失的场景（如快速的身体摆动）。TCP连接可靠、数据有序，适合对动作连贯性要求严苛的场景。在这个入门项目中，我们通常会选择UDP以求最简单快捷。数据格式一般采用JSON，因为它人类可读、易于调试，Python和Unity都有成熟的解析库。

注意：这里有一个关键点，MediaPipe输出的3D坐标是相对于某个原点（通常是髋部中心）的，并且其坐标系与Unity的世界坐标系不同。因此，数据传递到Unity后，必须进行一系列的坐标转换和数据处理，才能正确驱动骨骼。这是整个项目的核心难点之一，也是后面我们会重点讲解的。

2.2 与现有方案（如VMC协议、VR设备）的对比

你可能会问，为什么不用现成的VR设备（如HTC Vive Tracker）或者VMC（Virtual Motion Capture）协议？这恰恰体现了本方案的独特价值。

低成本与便捷性：一套完整的VR全身动捕设备价格不菲，而本项目只需要一个几十元的摄像头和一台电脑。VMC协议通常需要额外的中间件或特定的发送端软件。我们的方案将所有逻辑集成在一个Python脚本中，更加轻量和自主可控。

灵活性与可定制性：我们完全掌控从数据采集、处理到驱动的每一个环节。你可以轻松地修改MediaPipe的参数（如模型复杂度、平滑度），过滤不需要的关键点，或者添加自定义的逻辑（如手势识别触发游戏事件）。这种深度定制的能力是使用标准化协议或硬件难以比拟的。

开发与学习价值：对于开发者而言，亲手实现这个管道，能让你深刻理解动作捕捉的数据流、坐标变换和角色驱动原理，这是单纯调用API无法获得的经验。它为你未来开发更复杂的交互应用打下了坚实的基础。

3. 环境准备与项目搭建

3.1 Python端环境配置

首先，我们需要一个干净的Python环境。强烈建议使用conda或venv创建虚拟环境，避免包冲突。

# 创建并激活虚拟环境 (以conda为例) conda create -n mediapipe_unity python=3.8 conda activate mediapipe_unity # 安装核心依赖 pip install mediapipe opencv-python

• MediaPipe (>=0.10.0):核心姿势检测库。
• OpenCV-Python:用于调用摄像头、读取视频流和进行简单的图像显示。

这里有个实操心得：MediaPipe对Python版本有一定要求，Python 3.8-3.10的兼容性最好。如果安装过程中遇到与NumPy版本相关的问题，可以尝试先升级pip，或者指定安装稍旧版本的MediaPipe（如pip install mediapipe==0.10.0）。

3.2 Unity端项目设置

1. 创建新项目：打开Unity Hub，创建一个新的3D核心模板项目。项目名称随意，例如MotionCaptureDriver。
2. 导入角色模型：你需要一个带骨骼绑定的3D人形角色。Unity Asset Store里有大量免费资源（如“Mecanim Locomotion Starter Pack”）。将模型导入项目后，关键一步是将其配置为Humanoid类型。
   • 在Project窗口选中模型文件，在Inspector窗口中找到Rig选项卡。
   • 将Animation Type从Generic改为Humanoid。
   • 点击Configure...，Unity会自动尝试将模型骨骼映射到标准人形骨骼上。检查映射是否正确，特别是脊柱、四肢的骨骼链。确认后点击Apply。
   • 为什么必须是Humanoid？因为只有Humanoid类型的Avatar，Unity才能提供一套标准的骨骼映射，让我们可以用统一的名称（如LeftUpperArm,RightLowerLeg）来访问和控制骨骼，而不必关心原始模型骨骼的具体命名，这极大地简化了驱动代码。
3. 将模型放入场景：将配置好的模型预制体拖入场景。确保其初始姿势是T-Pose或A-Pose（双臂平伸或微张），这是大多数动作捕捉数据校准的基准姿势。

4. Python端：实时捕捉与数据发送

4.1 初始化MediaPipe Pose与摄像头

我们创建一个名为motion_capture_sender.py的脚本。

import cv2 import mediapipe as mp import json import socket import time # 初始化MediaPipe Pose mp_drawing = mp.solutions.drawing_utils mp_pose = mp.solutions.pose # 初始化UDP socket用于发送数据 UDP_IP = "127.0.0.1" # 本地回环地址，Unity也运行在本机 UDP_PORT = 12345 # 端口号，需与Unity端一致 sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) # 启动摄像头 cap = cv2.VideoCapture(0) # 0代表默认摄像头 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) cap.set(cv2.CAP_PROP_FPS, 30) # 配置Pose检测器 # static_image_mode: 静态图模式设为False更适合视频流 # model_complexity: 模型复杂度，0最快但精度较低，2最慢最精确 # smooth_landmarks: 平滑关键点，减少抖动 # min_detection_confidence: 检测置信度阈值 # min_tracking_confidence: 跟踪置信度阈值 with mp_pose.Pose( static_image_mode=False, model_complexity=1, # 平衡模式，推荐 smooth_landmarks=True, min_detection_confidence=0.5, min_tracking_confidence=0.5) as pose:

4.2 关键点提取与数据序列化

在摄像头循环中，我们处理每一帧图像，提取姿势数据，并将其转换为可发送的格式。

while cap.isOpened(): success, image = cap.read() if not success: print("无法读取摄像头画面。") break # 为了提高性能，可以跳过一些帧不处理，但这会增加延迟 # 为了实时性，我们处理每一帧 # 将BGR图像转换为RGB，因为MediaPipe需要RGB输入 image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 可选：翻转图像以获得镜像视图，这样动作方向更直观 image_rgb = cv2.flip(image_rgb, 1) image.flags.writeable = False # 为了性能，设置图像为只读 # 进行姿势检测！这是最核心的一行代码 results = pose.process(image_rgb) # 将图像改回可写状态，并转换回BGR用于显示 image.flags.writeable = True image = cv2.cvtColor(image_rgb, cv2.COLOR_RGB2BGR) # 如果检测到姿势 if results.pose_landmarks: # 1. 在图像上绘制姿势关键点和连接线（用于本地预览） mp_drawing.draw_landmarks( image, results.pose_landmarks, mp_pose.POSE_CONNECTIONS, mp_drawing.DrawingSpec(color=(0, 255, 0), thickness=2, circle_radius=2), # 关键点样式 mp_drawing.DrawingSpec(color=(255, 0, 0), thickness=2) # 连接线样式 ) # 2. 提取并处理关键点数据 landmarks_list = [] # MediaPipe Pose提供了33个关键点，索引定义在mp_pose.PoseLandmark中 for idx, landmark in enumerate(results.pose_landmarks.landmark): # landmark包含x, y, z, visibility # x, y, z 是归一化坐标（相对于图像宽度/高度/一个估计的深度） # visibility 是该点可见性的置信度 landmarks_list.append({ 'id': idx, 'name': mp_pose.PoseLandmark(idx).name, # 获取关键点名称，如LEFT_SHOULDER 'x': landmark.x, 'y': landmark.y, 'z': landmark.z, # 注意：MediaPipe的z是相对的，并非真实的米制单位 'visibility': landmark.visibility }) # 3. 构建要发送的数据包 # 我们发送一个包含所有关键点信息的JSON字符串 # 同时可以附加一些元数据，如时间戳、图像尺寸（用于后续可能的坐标转换） data_packet = { 'timestamp': time.time(), 'image_width': image.shape[1], 'image_height': image.shape[0], 'landmarks': landmarks_list } json_data = json.dumps(data_packet) # 4. 通过UDP发送数据 try: sock.sendto(json_data.encode('utf-8'), (UDP_IP, UDP_PORT)) except Exception as e: print(f"发送数据失败: {e}") # 在窗口中显示结果（可选，用于调试） cv2.imshow('MediaPipe Pose + Unity Driver', image) if cv2.waitKey(5) & 0xFF == 27: # 按ESC退出 break cap.release() cv2.destroyAllWindows() sock.close()

重要提示：数据格式的选择。我们这里选择了JSON，因为它易于阅读和调试。但在追求极致性能的生产环境中，JSON的序列化/反序列化开销和较大的数据包体积可能成为瓶颈。此时可以考虑使用更高效的二进制格式，如MessagePack或Protobuf，甚至直接发送浮点数数组。但对于入门和原型开发，JSON的便利性远大于其性能开销。

5. Unity端：数据接收与角色驱动

5.1 创建UDP数据接收器

在Unity中，我们创建一个C#脚本PoseDataReceiver.cs。由于Unity的主循环（Update）不是线程安全的，而网络接收是阻塞操作，我们必须使用多线程或异步编程来接收数据，再将数据传递给主线程处理。

using UnityEngine; using System; using System.Net; using System.Net.Sockets; using System.Text; using System.Threading; using System.Collections.Generic; public class PoseDataReceiver : MonoBehaviour { public string listenIP = "127.0.0.1"; public int listenPort = 12345; private UdpClient udpClient; private Thread receiveThread; private bool isReceiving = false; // 接收到的原始JSON字符串 private string receivedJsonData = ""; // 线程锁，确保数据交换安全 private readonly object dataLock = new object(); // 解析后的数据，供其他脚本使用 public PoseData currentPoseData { get; private set; } [System.Serializable] public class LandmarkData { public int id; public string name; public float x; public float y; public float z; public float visibility; } [System.Serializable] public class PoseData { public double timestamp; public int image_width; public int image_height; public List<LandmarkData> landmarks; } void Start() { currentPoseData = new PoseData(); StartReceiving(); } void StartReceiving() { try { udpClient = new UdpClient(new IPEndPoint(IPAddress.Parse(listenIP), listenPort)); isReceiving = true; receiveThread = new Thread(new ThreadStart(ReceiveData)); receiveThread.IsBackground = true; receiveThread.Start(); Debug.Log($"UDP接收器已启动，监听 {listenIP}:{listenPort}"); } catch (Exception e) { Debug.LogError($"启动UDP接收器失败: {e.Message}"); } } private void ReceiveData() { while (isReceiving) { try { IPEndPoint remoteEndPoint = new IPEndPoint(IPAddress.Any, 0); byte[] receivedBytes = udpClient.Receive(ref remoteEndPoint); string jsonString = Encoding.UTF8.GetString(receivedBytes); lock (dataLock) { receivedJsonData = jsonString; } } catch (SocketException e) { // 当socket被关闭时，会抛出异常，这是正常退出 if (isReceiving) Debug.LogWarning($"接收数据时Socket异常: {e.Message}"); } catch (Exception e) { Debug.LogError($"接收数据时发生错误: {e.Message}"); } } } void Update() { // 在主线程中解析JSON，避免线程安全问题 string jsonToProcess = ""; lock (dataLock) { if (!string.IsNullOrEmpty(receivedJsonData)) { jsonToProcess = receivedJsonData; receivedJsonData = ""; // 清空，准备接收下一帧 } } if (!string.IsNullOrEmpty(jsonToProcess)) { try { // 使用Unity自带的JsonUtility解析数据 currentPoseData = JsonUtility.FromJson<PoseData>(jsonToProcess); // 此时currentPoseData已经包含了最新的姿势数据 } catch (Exception e) { Debug.LogError($"解析JSON数据失败: {e.Message}\n数据内容: {jsonToProcess}"); } } } void OnApplicationQuit() { StopReceiving(); } void StopReceiving() { isReceiving = false; if (udpClient != null) { udpClient.Close(); } if (receiveThread != null && receiveThread.IsAlive) { receiveThread.Join(500); // 等待线程结束，最多500ms } Debug.Log("UDP接收器已停止"); } }

5.2 驱动人形角色骨骼

这是最核心也最需要技巧的一步。MediaPipe的坐标空间和Unity的坐标空间不同，我们需要进行转换。此外，驱动骨骼通常不是直接设置位置，而是计算骨骼的旋转（Quaternion）。

我们创建另一个脚本PoseToAvatarDriver.cs，将其挂载到你的角色模型上。

using UnityEngine; using System.Collections.Generic; public class PoseToAvatarDriver : MonoBehaviour { public PoseDataReceiver dataReceiver; // 拖拽赋值 public Animator targetAnimator; // 角色身上的Animator组件 // 关键点索引常量，对应MediaPipe Pose的33个点 private const int NOSE = 0; private const int LEFT_SHOULDER = 11; private const int RIGHT_SHOULDER = 12; // ... 可以定义其他需要的关键点索引 // 用于存储上一帧的数据，进行平滑处理 private PoseData.PoseData lastPoseData; public float smoothFactor = 0.5f; // 平滑系数，0为不平滑，1为完全使用上一帧 void Start() { if (targetAnimator == null) { targetAnimator = GetComponent<Animator>(); if (targetAnimator == null) { Debug.LogError("未找到Animator组件！请确保角色已配置为Humanoid并挂载了Animator。"); enabled = false; return; } } if (dataReceiver == null) { dataReceiver = FindObjectOfType<PoseDataReceiver>(); if (dataReceiver == null) { Debug.LogError("未找到PoseDataReceiver！"); enabled = false; } } // 确保Animator使用物理更新模式，以获得更平滑的驱动 targetAnimator.updateMode = AnimatorUpdateMode.FixedUpdate; } void FixedUpdate() // 使用FixedUpdate保证与物理更新同步，更稳定 { if (dataReceiver == null || dataReceiver.currentPoseData == null || dataReceiver.currentPoseData.landmarks == null) return; var poseData = dataReceiver.currentPoseData; // 简单的数据平滑：与上一帧数据插值 if (lastPoseData != null && smoothFactor > 0) { SmoothLandmarks(poseData.landmarks, lastPoseData.landmarks, smoothFactor); } lastPoseData = poseData; // 浅拷贝，注意对于复杂对象需要深拷贝 // 1. 计算髋部旋转（控制角色整体朝向） // 通常使用双肩和双髋的中点向量来估算身体朝向 Vector3 leftShoulder = GetLandmarkVector(poseData, LEFT_SHOULDER); Vector3 rightShoulder = GetLandmarkVector(poseData, RIGHT_SHOULDER); Vector3 spineShoulderCenter = (leftShoulder + rightShoulder) / 2; // 这里简化处理：假设摄像头正对用户，只处理左右旋转（Y轴） // 更复杂的处理需要计算肩膀连线相对于摄像头的角度 // 我们暂时让角色始终面向正前方，或者用一个UI滑块手动控制旋转 // Quaternion hipRotation = CalculateHipRotation(...); // 2. 驱动四肢骨骼 // 原理：通过两个关键点（如肩膀和手肘）计算出一个方向向量， // 然后将这个方向向量与骨骼在T-Pose下的初始方向进行比较，得到旋转差值。 // 由于计算三维旋转比较复杂，这里提供一个简化版的思路： // a. 获取骨骼在T-Pose下的初始世界空间方向（在Start中缓存）。 // b. 根据MediaPipe关键点计算当前目标方向（需要从MediaPipe坐标转换到Unity世界坐标）。 // c. 使用Quaternion.FromToRotation计算旋转。 // d. 将旋转应用到Animator的对应骨骼上。 // 示例：驱动左臂 DriveLimb(poseData, LEFT_SHOULDER, 13, HumanBodyBones.LeftUpperArm, HumanBodyBones.LeftLowerArm, HumanBodyBones.LeftHand); // 驱动右臂、左腿、右腿同理 // 3. 驱动脊柱和头部（可选，需要更多关键点如髋部、脊柱、鼻子、眼睛） // DriveSpine(poseData); // DriveHead(poseData); } // 将MediaPipe的归一化坐标转换为Unity世界坐标 // 这是一个简化转换，实际需要根据摄像头FOV、距离等进行校准 private Vector3 GetLandmarkVector(PoseData.PoseData data, int landmarkIndex) { if (landmarkIndex < 0 || landmarkIndex >= data.landmarks.Count) return Vector3.zero; var lm = data.landmarks[landmarkIndex]; // MediaPipe的坐标系：原点在图像中心，x向右，y向下，z向屏幕内。 // Unity的坐标系：原点在场景中心，x向右，y向上，z向前。 // 需要进行转换：x不变，y取反，z取反（或根据情况调整）。 // 同时需要将归一化坐标缩放到一个合适的范围（例如，以髋部为原点，单位米）。 float scaleFactor = 2.0f; // 这个系数需要根据你的场景和角色大小调整 return new Vector3( (lm.x - 0.5f) * scaleFactor, // 将原点从图像中心移到(0,0)，并缩放 (0.5f - lm.y) * scaleFactor, // Y轴取反并缩放 -lm.z * scaleFactor // Z轴取反并缩放（假设MediaPipe的z正向是朝向屏幕内） ); } private void SmoothLandmarks(List<PoseData.LandmarkData> current, List<PoseData.LandmarkData> last, float factor) { if (current == null || last == null || current.Count != last.Count) return; for (int i = 0; i < current.Count; i++) { current[i].x = Mathf.Lerp(current[i].x, last[i].x, factor); current[i].y = Mathf.Lerp(current[i].y, last[i].y, factor); current[i].z = Mathf.Lerp(current[i].z, last[i].z, factor); } } // 驱动肢体骨骼的示例方法（伪代码，需要完善） private void DriveLimb(PoseData.PoseData data, int startIdx, int endIdx, HumanBodyBones upperBone, HumanBodyBones lowerBone, HumanBodyBones endBone) { // 1. 获取骨骼的Transform Transform upperBoneTransform = targetAnimator.GetBoneTransform(upperBone); Transform lowerBoneTransform = targetAnimator.GetBoneTransform(lowerBone); if (upperBoneTransform == null || lowerBoneTransform == null) return; // 2. 获取MediaPipe关键点在世界空间中的位置（转换后） Vector3 startPos = GetLandmarkVector(data, startIdx); Vector3 endPos = GetLandmarkVector(data, endIdx); // 3. 计算目标方向 Vector3 targetDirection = (endPos - startPos).normalized; // 4. 计算从骨骼初始方向到目标方向的旋转 // 这里需要知道骨骼在T-Pose下的初始局部方向，这通常需要预先计算并缓存 // Quaternion targetRotation = Quaternion.FromToRotation(initialBoneDirection, targetDirection); // 5. 应用旋转到骨骼（注意：直接设置旋转会破坏IK等，通常我们只影响局部旋转的一部分，或者使用HumanDescription） // upperBoneTransform.localRotation = targetRotation; // 更高级的做法：使用Unity的HumanDescription和Muscle系统 // 将计算出的角度（如肘部弯曲角）映射到Animator的肌肉参数上 // targetAnimator.SetFloat("LeftElbow", calculatedAngle); } }

核心难点与技巧：坐标转换与骨骼旋转计算。上面代码中的GetLandmarkVector和DriveLimb是高度简化的。在实际项目中，你需要一个校准阶段。在这个阶段，让人站在摄像头前摆出T-Pose，程序记录下此时MediaPipe输出的关键点位置，并与Unity中角色T-Pose下各骨骼的初始方向进行对齐计算，得到一个转换矩阵。后续每一帧的数据都通过这个矩阵转换，才能准确驱动。此外，直接设置骨骼旋转可能导致角色扭曲，更稳健的做法是将计算出的关节角度（如肩、肘、髋、膝的角度）映射到Unity Mecanim的肌肉参数上，让Unity的IK系统辅助处理。

6. 校准与优化：让动作更精准自然

6.1 实现动态校准流程

由于每个人的身高、臂展、摄像头位置都不同，一个固定的坐标转换公式不可能适合所有人。因此，一个动态的校准步骤至关重要。

我们可以在Unity中设计一个简单的校准场景。当程序启动时，提示用户面对摄像头做出T-Pose并保持几秒钟。在这期间，Python端持续发送数据，Unity端连续采集多帧（比如60帧）的特定关键点数据（如左肩、右肩、左髋、右髋、鼻子）。

// 在PoseToAvatarDriver.cs中增加校准逻辑 public class CalibrationManager : MonoBehaviour { public PoseDataReceiver receiver; public GameObject calibrationUI; // 显示“请摆出T-Pose”的UI private bool isCalibrating = false; private List<Vector3> sampledShoulderPositions = new List<Vector3>(); private List<Vector3> sampledHipPositions = new List<Vector3>(); void Start() { StartCalibration(); } public void StartCalibration() { isCalibrating = true; calibrationUI.SetActive(true); sampledShoulderPositions.Clear(); sampledHipPositions.Clear(); Invoke("FinishCalibration", 3.0f); // 3秒后结束校准 } void Update() { if (isCalibrating && receiver.currentPoseData != null) { // 采样肩膀和髋部的平均位置 Vector3 leftShoulder = GetLandmarkVector(receiver.currentPoseData, 11); Vector3 rightShoulder = GetLandmarkVector(receiver.currentPoseData, 12); Vector3 shoulderCenter = (leftShoulder + rightShoulder) / 2; sampledShoulderPositions.Add(shoulderCenter); Vector3 leftHip = GetLandmarkVector(receiver.currentPoseData, 23); Vector3 rightHip = GetLandmarkVector(receiver.currentPoseData, 24); Vector3 hipCenter = (leftHip + rightHip) / 2; sampledHipPositions.Add(hipCenter); } } void FinishCalibration() { isCalibrating = false; calibrationUI.SetActive(false); if (sampledShoulderPositions.Count > 10 && sampledHipPositions.Count > 10) { // 计算平均位置 Vector3 avgShoulder = Vector3.zero; Vector3 avgHip = Vector3.zero; foreach (var pos in sampledShoulderPositions) avgShoulder += pos; foreach (var pos in sampledHipPositions) avgHip += pos; avgShoulder /= sampledShoulderPositions.Count; avgHip /= sampledHipPositions.Count; // 计算用户的身高比例（肩膀到髋部的距离） float userTorsoHeight = Vector3.Distance(avgShoulder, avgHip); // 获取角色模型中对应骨骼在T-Pose下的距离 Transform characterLeftShoulder = animator.GetBoneTransform(HumanBodyBones.LeftShoulder); Transform characterLeftHip = animator.GetBoneTransform(HumanBodyBones.LeftHip); float characterTorsoHeight = Vector3.Distance(characterLeftShoulder.position, characterLeftHip.position); // 计算缩放比例 float scaleRatio = characterTorsoHeight / userTorsoHeight; // 保存这个比例和校准偏移量，用于后续所有坐标的转换 PlayerPrefs.SetFloat("MotionScale", scaleRatio); PlayerPrefs.SetFloat("CalibOffsetX", avgHip.x); // 以髋部中心为原点 PlayerPrefs.SetFloat("CalibOffsetY", avgHip.y); PlayerPrefs.SetFloat("CalibOffsetZ", avgHip.z); PlayerPrefs.Save(); Debug.Log($"校准完成！缩放比例: {scaleRatio}"); } else { Debug.LogWarning("校准数据不足，使用默认参数。"); } } }

在校准后的GetLandmarkVector函数中，使用保存的校准参数对原始坐标进行缩放和平移：

private Vector3 GetCalibratedLandmarkVector(PoseData.PoseData data, int landmarkIndex) { Vector3 rawPos = GetLandmarkVector(data, landmarkIndex); // 原始转换 float scale = PlayerPrefs.GetFloat("MotionScale", 1.0f); Vector3 offset = new Vector3( PlayerPrefs.GetFloat("CalibOffsetX", 0), PlayerPrefs.GetFloat("CalibOffsetY", 0), PlayerPrefs.GetFloat("CalibOffsetZ", 0) ); // 以校准原点为中心进行缩放 return offset + (rawPos - offset) * scale; }

6.2 性能与效果优化技巧

1. 降低Python端分辨率与帧率：对于驱动角色而言，640x480@30FPS通常足够。降低分辨率（如320x240）能显著减少MediaPipe的计算量，提高帧率。
2. 数据压缩与过滤：只发送必要的关键点（如只发四肢和躯干，忽略面部和手部）。对浮点数进行精度取舍（如保留3位小数），可以减小数据包。
3. Unity端插值与平滑：MediaPipe输出可能抖动。除了简单的线性插值（Lerp），可以使用更高级的滤波算法，如卡尔曼滤波（Kalman Filter）或一阶低通滤波，来平滑关键点运动轨迹。
4. 使用FixedUpdate：在Unity的FixedUpdate中处理驱动逻辑，而不是Update，可以使角色运动更稳定，不受帧率波动影响。
5. 分层驱动：不要试图用MediaPipe数据驱动每一根骨骼。优先驱动大关节（肩、肘、髋、膝），脊柱和颈部的旋转可以根据这些主关节的位置进行逆向运动学（IK）估算，这样效果更自然，且对数据噪声不敏感。
6. 备用姿势与超时处理：当摄像头丢失目标（如人走出画面）时，角色应优雅地回归到 idle 姿势，而不是僵在原地或疯狂抖动。可以设置一个超时计时器，超过一定时间未收到有效数据，则让角色通过动画混合逐渐回到默认姿势。

7. 常见问题与故障排除实录

在实际操作中，你几乎一定会遇到下面这些问题。这里是我踩过坑后总结的排查清单。

最后的个人体会：这个项目最迷人的地方在于，它用很少的代码就打开了实时动作捕捉的大门。但“5分钟搞定”只是一个开始，要让它真正变得可用、好用，校准、滤波、坐标空间映射这些“脏活累活”才是真正的挑战，也是乐趣所在。当你看到屏幕里的虚拟角色终于能稳稳地跟上你的每一个动作时，那种成就感是无与伦比的。不妨从驱动一只手臂开始，逐步完善，最终打造出属于你自己的全身动捕系统。