M3-SLU: Evaluating Speaker-Attributed Reasoning in Multimodal Large Language Models

一、文章主要内容总结

本文针对现有多模态大语言模型（MLLMs）在多说话者、多轮对话场景中难以准确识别“谁在何时说了什么”的问题，提出了M3-SLU基准测试集（Multi-Speaker, Multi-Turn, Multi-Modal Spoken Language Understanding），用于评估模型的说话者归因推理能力。

1. 基准测试集构建：

   • 数据源：基于4个公开多说话者语料库（CHiME-6、MELD、MultiDialog、AMI），涵盖嘈杂环境对话、情感对话、多主题对话、商务会议等多样化场景。
   • 规模：包含12,873个验证样本，每个样本为1-3.5分钟的真实对话，配套音频、转录文本和元数据，且至少涉及2名说话者。
   • 核心任务：设计2个针对性任务——①说话者归因问答（提取与特定说话者相关的名词短语答案）；②说话者归因话语匹配（判断两个表述/行为是否来自同一说话者，True/False分类）。
   • 构建流程：采用“数据预处理→自动化生成与迭代优化→数据整合→人工验证”四阶段混合 pipeline，确保数据可靠性。

2. 实验与结果：

   • 评估对象：对比级联管道（SD+ASR+LLM）和端到端语音/多模态LLM（如Qwen2-Audio、Voxtral、Qwen3-Omni等）。
   • 核心发现：现有模型能较好理解对话内容（Task1得分较高），但在说话者归因推理上存在显