news 2026/7/7 3:12:27

数据集汇总丨AI Agent 评测数据集,Microsoft/北大/港大/上海交大等发布 10 个数据集,从长程记忆到真实环境任务执行全覆盖

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
数据集汇总丨AI Agent 评测数据集,Microsoft/北大/港大/上海交大等发布 10 个数据集,从长程记忆到真实环境任务执行全覆盖

在大模型能力不断扩展的当下,AI Agent 正从「对话工具」快速走向「任务执行者」,并开始在自动化办公、代码生成、数据分析与复杂流程处理等场景中被广泛应用。相比传统的问答式大语言模型(LLM),Agent 的核心变化在于:它不再只是回答问题,而是能够拆解任务、调用工具,并自主推进直至完成目标。

随着 Agent 能力边界的扩展,用于训练与评测的数据集变得尤为关键。不同于传统的单轮问答或静态任务数据,Agent 相关数据集更强调「过程能力」,例如长程规划、多步推理、工具使用以及记忆能力。这些数据决定了模型能否在真实复杂的任务中稳定运行,也直接影响 Agent 系统的可靠性与上限。

本文整理的 10 个相关数据集,覆盖了当前 Agent 研究中的几个核心能力方向:长上下文理解与记忆评估、复杂任务规划与多步推理、工具调用与交互式执行能力,以及真实或模拟环境下的任务完成能力。这些数据共同构成了对 AI Agent 能力的系统性刻画。

从这些数据集的构成方式也可以看出,评测与训练数据本身正在发生转变:从静态的问答标注,逐渐走向对交互过程与行为轨迹的建模,更强调数据对模型「做事」能力的支撑,而不只是「回答」能力。

以下数据集支持在 HyperAI 在线使用,旨在加速研究人员与开发者在相关领域的研究探索。

更多优质数据集:

Datasets | HyperAI

数据集推荐

1.RHELM 长程记忆评估数据集

* 在线使用:

RHELM 长程记忆评估数据集 | 数据集 | HyperAI超神经

RHELM 是由 Microsoft 于 2026 年发布的长程记忆能力评估数据集,相关论文成果为Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory,旨在提升大模型在复杂动态场景中的长期记忆、多跳推理与时序信息合成能力,广泛应用于大语言模型长时序记忆评测、 AI 助手长期交互能力验证、大模型多跳推理、时序信息融合与幻觉检测等研究场景。

该数据集包含 10 组虚拟角色人设、 1,305 组问答对、 629 个 JSON 格式对话会话、 625 个 TXT 格式邮件线程以及 1,053 个 MD 、 HTML 格式附件文档,配套问题涵盖附件引用、混合推理、事实查询、幻觉检测、信息聚合、时序分析及误导性问题七大核心类型。

2.MemLens 多模态长上下文基准数据集

* 在线使用:

MemLens 多模态长上下文基准数据集 | 数据集 | HyperAI超神经

MemLens 是一个用于评估视觉语言模型长程对话记忆的基准数据集,旨在测试模型在 32K 、 64K 、 128K 及 256K 上下文窗口中,检索、回忆、更新及推理跨多会话对话中嵌入的视觉与文本信息的能力。 该数据集共包含 789 道题目,涵盖 5 种评估类型:信息提取、知识更新、时序推理、多会话推理与拒绝回答(Abstention),并提供 4 个上下文长度配置(32K / 64K / 128K / 256K)。

该数据集额外提供一份 195 道题的固定分层采样子集,专门用于内存增强智能体(Memory-augmented Agents)的评估,以平衡推理成本。

3.LongBlocks 长上下文多语言问答数据集

* 在线使用:

LongBlocks 长上下文多语言问答数据集 | 数据集 | HyperAI超神经

LongBlocks 是由里斯本大学、 Instituto de Telecomunicações 联合 TransPerfect 等机构于 2026 年发布的一个长上下文多语言合成数据集。 该数据集包含约 19.4 万条长上下文问答示例,涵盖书籍、网页文本、 Wiki 百科、 arXiv 论文、编程代码及社区问答等长文档语料。

4.AgentTrove 智能体交互轨迹数据集

* 在线使用:

AgentTrove 智能体交互轨迹数据集 | 数据集 | HyperAI超神经

AgentTrove 是由 OpenThoughts-Agent 团队发布的大规模开源智能体交互轨迹数据集。 该数据集包含 1,696,847 行数据,源自 219 个数据集,涵盖代码修复、 Shell 脚本编写、数学问题解决、编程竞赛及通用计算机使用等任务领域。所有轨迹均基于开源 Harbor 智能体评估与数据生成框架采集,并统一采用 terminus-2 harness 格式(类 ShareGPT 对话布局)发布。

5.Claw-Eval 真实世界评测基准数据集

* 在线使用:

https://go.hyper.ai/es8w6

Claw-Eval 是由北京大学联合香港大学于 2026 年发布的一个面向 AI Agent 真实世界任务评测的端到端透明评测基准数据集,相关论文成果为 Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents,旨在评估自主智能体在真实环境中的任务执行、工具调用、多模态理解及多轮交互能力,广泛应用于 Agent 系统评测、自动化任务执行、多模态智能体研究及大模型能力分析等方向。

该数据集支持英文与中文两种语言,包含 General 、 Multimodal 与 Multi-turn 三个核心任务组,共覆盖通信、金融、办公、生产力工具等 24 个任务类别。

6.OpenMementos 上下文记忆压缩数据集

* 在线使用:

https://go.hyper.ai/tKykx

OpenMementos 是由 Microsoft 于 2026 年发布的一个上下文记忆压缩数据集,面向大模型长链推理与上下文管理能力建模。该数据集旨在训练模型进行上下文压缩与持续推理,从而支持在有限上下文窗口下完成复杂多步推理任务,广泛适用于长链推理建模、记忆增强模型训练及高效生成等研究场景。

该数据集基于 OpenThoughts 推理数据构建,包含 228,557 条结构化推理轨迹,其中数学 123,333 条,科学 61,485 条,编程 43,739 条,每条数据的平均句子数为 187 句。

7.MIA 多步推理与决策轨迹数据集

* 在线使用:

https://go.hyper.ai/LZ4yR

MIA 是由华东师范大学、上海创新研究院和哈尔滨工业大学于 2026 年 4 月联合发布的一个用于训练和评估具备长期记忆与任务执行能力的智能体的数据集,相关论文成果为 Memory Intelligence Agent,旨在提升智能体的长期记忆利用与多步决策能力。 该数据集包含约 2.1 万条推理轨迹数据,涵盖问题、规划、搜索与执行全过程,适用于 Agent 推理与强化学习研究。

8.ToolACE 复杂工具学习对话数据集

* 在线使用:

https://go.hyper.ai/TkOp8

ToolACE 是由上海交通大学联合中国科学技术大学、华为诺亚方舟实验室等机构于 2024 年发布的一个面向工具学习任务的自动化代理管道数据集,相关论文成果为 ToolACE: Winning the Points of LLM Function Calling,旨在生成准确、复杂且多样化的工具学习数据,尤其针对工具学习中数据质量不足、场景单一等现实问题进行设计。

该数据集包含多步骤会话示例,共调用 26,507 个多样化 API 。样本通过多智能体交互生成,并经过规则检查 + 模型验证的双层质量保证。每条对话都是多步骤、多来源的信息检索与分析任务,真实模拟工具调用场景,为 LLM 提供高价值训练数据。

9.Creative Professionals 创意任务指令数据集

* 在线使用:

https://go.hyper.ai/0vYFw

Creative Professionals Agentic Tasks 是一个大规模、高保真合成任务数据集,专为多模态 AI 代理的训练、评估和微调设计,包含 1,070,917 个智能体代理命令操作,涵盖 36 种创意、技术和工程软件环境。数据集旨在探索复杂软件交互和多步推理。

10.AgentNet 桌面操作任务数据集

* 在线使用:

https://go.hyper.ai/v6xOG

AgentNet 是由香港大学 XLANG 实验室,联合 Moonshot AI 、斯坦福大学等机构,于 2025 年发布的首个大规模桌面计算机使用智能体轨迹数据集,相关论文成果为「OPENCUA: Open Foundations for Computer-Use Agents」,旨在支持与评测跨平台的 GUI 操作智能体与视觉-语言-动作(VLA)模型。

数据集包含 22.6K 条人工标注的电脑使用任务轨迹,覆盖 Windows / macOS / Ubuntu 三大系统与 200+ 个应用/网站,场景涉及办公、专业、日常、系统四类。适用于桌面自动化、多应用流程与跨平台代理的训练与评估。

以上就是本期推荐的所有数据集,快来一键下载使用吧~

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/7 3:11:59

CNSH 龍魂文化算法流场压缩核 v3.0

🐉 CNSH 龍魂文化算法流场压缩核 v3.0 DNA: #龍芯⚡️2026-05-01-CNSH龍魂流场压缩核-v3.0 确认码: #CONFIRM🌌9622-ONLY-ONCE🧬LK9X-772Z ✅ GPG: A2D0092CEE2E5BA87035600924C3704A8CC26D5F 统一名: CNSH-FLOW-CORE(中文名&…

作者头像 李华
网站建设 2026/7/7 3:10:17

选私域直播系统?你一定要看清楚这几个点!

这几年,社区私域直播系统多到让人眼花缭乱。每家都说自己好,老板们看得头晕。 当你在各种功能和各种承诺之间犹豫不决时,有一个问题比任何演示都管用:那些已经在用的人,到底是怎么评价的? 我们收集了一些…

作者头像 李华
网站建设 2026/7/7 3:07:55

2026年实验室装修公司推荐测评:EPC总包实力甄选与轲禹标杆解析

一、行业背景与选型痛点进入2026年,国内实验室建设已从早期的"简单工装家具摆放"升级为融合建筑装饰、暖通净化、特种气路、三废处理、智能自控、家具配套等多专业的复杂系统工程。第三方检测实验室装修、GMP车间施工公司筛选、动物房建设公司资质核查&am…

作者头像 李华
网站建设 2026/7/7 3:07:53

YOLO目标检测实战:从数据标注到模型部署完整指南

🚀 30款热门AI模型一站整合,DeepSeek/GLM/Qwen 随心用,限时 5 折。 👉 点击领海量免费额度 今天我们来完整走一遍从零开始训练自己的YOLO目标检测模型的全流程。无论你是计算机视觉新手还是有一定基础的开发者,这篇…

作者头像 李华
网站建设 2026/7/7 3:02:40

做科研的你,会为了豆包付费吗?

近期豆包开启分层付费模式引发全网热议,大量普通用户围绕几十元年费争论性价比,不少人直言只是写文案、整理琐事,免费版完全够用,付费不值。但与此同时,医学院教师、临床医生、硕博科研群体却早已形成共识:…

作者头像 李华
网站建设 2026/7/7 2:57:57

随机微分方程(SDE)

图片来源自上面这个论文论文的图片中展示的是一个随机微分方程(SDE)的两种形式,常用于扩散模型(Diffusion Models)或随机过程建模,特别是在生成模型(如DDPM、Score-based models)中。…

作者头像 李华