news 2026/7/16 11:06:30

CANN/asc-devkit UBToL1连续数据搬运

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/asc-devkit UBToL1连续数据搬运

UBToL1连续数据搬运(DataCopy)

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

  • Ascend 950PR/Ascend 950DT:支持
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
  • Atlas 200I/500 A2 推理产品:不支持
  • Atlas 推理系列产品AI Core:支持
  • Atlas 推理系列产品Vector Core:不支持
  • Atlas 训练系列产品:不支持
  • Kirin X90:不支持
  • Kirin 9030:不支持

功能说明

[!NOTE]说明 本接口为软件仿真实现,是在Matmul高阶API的基础上,利用Matmul高阶API中的workspace GM空间作为数据中转空间,数据先搬入GM,再搬入L1 Buffer。因此,在使用本接口时,需要先使用REGISTER_MATMUL注册高阶API。

头文件路径为:basic_api/kernel_operator_data_copy_intf.h。

该接口实现将矩阵从Unified Buffer(UB,TPosition为VECIN/VECCALC/VECOUT)搬运至L1 Buffer,搬运方式为连续搬运,数据搬运时格式和内容保持不变。

函数原型

// 连续搬运 template <typename T> __aicore__ inline void DataCopy(const LocalTensor<T>& dst, const LocalTensor<T>& src, const uint32_t count)

参数说明

表1模板参数说明

参数名描述
T操作数的数据类型。源操作数和目的操作数的数据类型保持一致。

表2参数说明

参数名称输入/输出含义
dst输出目的操作数,类型为LocalTensor,存储位置为L1 Buffer,起始地址要求32字节对齐。
src输入源操作数,类型为LocalTensor,存储位置为Unified Buffer(TPosition为VECIN/VECCALC/VECOUT),起始地址要求32字节对齐。
count输入参与搬运的元素个数。
注:count * sizeof(T)需要32字节对齐,若未对齐,搬运量会向下取整到32字节对齐。

数据类型

源矩阵和目的矩阵支持的数据类型保持一致。

针对Ascend 950PR/Ascend 950DT,支持数据类型为:bool、int8_t、uint8_t、hifloat8_t、fp8_e5m2_t、fp8_e4m3fn_t、fp8_e8m0_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、complex32、int64_t、uint64_t、double、complex64。

针对Atlas A3 训练系列产品/Atlas A3 推理系列产品,支持数据类型为:int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、int64_t、uint64_t、half、bfloat16_t、float、double。

针对Atlas A2 训练系列产品/Atlas A2 推理系列产品,支持数据类型为:int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、int64_t、uint64_t、half、bfloat16_t、float、double。

针对Atlas 推理系列产品AI Core,支持数据类型为:int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、int64_t、uint64_t、half、float、double。

返回值说明

约束说明

  • 如果需要执行多个DataCopy指令,且DataCopy的目的地址存在重叠,需要通过调用PipeBarrier(ISASI).md)来插入同步指令,保证多个DataCopy指令的串行化,防止出现异常数据。

  • 如果搬运的目的地址L1 Buffer存在重叠,两条搬运指令之间需要调用PipeBarrier<PIPE_MTE2>()添加MTE2搬入流水的同步。

  • 针对如下产品型号:

    Atlas A3 训练系列产品/Atlas A3 推理系列产品;

    Atlas A2 训练系列产品/Atlas A2 推理系列产品;

    在跨卡通信算子开发场景,DataCopy类接口支持跨卡数据搬运,仅支持HCCS物理链路,不支持其他通路;开发者开发过程中,需要关注涉及卡间通信的物理通路,可通过npu-smi info -t topo命令查询HCCS物理链路。

  • 针对Ascend 950PR/Ascend 950DT,在UB->L1 Buffer的数据搬运时,可以通过配置编译选项ENABLE_CV_COMM_VIA_SSBUF来选择两种搬运通路,当ENABLE_CV_COMM_VIA_SSBUF配置为true时,使用SSBuffer进行通信,数据通过UB->L1 Buffer之间的硬件通道进行搬运(推荐),参考样例硬通道搬运;当ENABLE_CV_COMM_VIA_SSBUF为false时,数据搬运到L1 Buffer经过GM,该场景下需要借助Matmul高阶API进行注册操作。

调用示例

示例代码片段如下,完整示例请参考:DataCopy_UB2L1样例。

// dstLocal、srcLocal为half类型的LocalTensor,分别位于L1 Buffer和UB // 使用传入count参数的搬运接口,完成连续搬运 AscendC::DataCopy(dstLocal, srcLocal, 512);

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/16 11:06:14

Windows动态链接库(DLL)加载原理与优化实践

1. 动态链接库加载基础原理在Windows平台下&#xff0c;动态链接库(DLL)作为代码共享的重要机制&#xff0c;其加载方式直接关系到程序的灵活性和性能。传统隐式链接虽然方便&#xff0c;但需要编译时提供.lib文件&#xff0c;且模块耦合度高。显式加载则通过LoadLibrary和GetP…

作者头像 李华
网站建设 2026/7/16 11:04:53

高云GW5AT-LV60 FPGA开发套件LCD驱动实现指南

1. GW5AT-LV60开发套件LCD显示功能概述高云半导体GW5AT-LV60 FPGA开发套件是一款面向低功耗图像处理应用的国产FPGA解决方案&#xff0c;其板载的LVDS LCD接口支持最高1024600分辨率的显示屏驱动。在实际项目中&#xff0c;FPGA驱动LCD屏幕的核心价值在于能够实现硬件级并行处理…

作者头像 李华
网站建设 2026/7/16 11:03:55

5分钟搞定!让VLC播放器界面大升级的终极美化方案

5分钟搞定&#xff01;让VLC播放器界面大升级的终极美化方案 【免费下载链接】VeLoCity-Skin-for-VLC Castom skin for VLC Player 项目地址: https://gitcode.com/gh_mirrors/ve/VeLoCity-Skin-for-VLC 厌倦了VLC播放器那千篇一律的默认界面&#xff1f;想给每天都要使…

作者头像 李华
网站建设 2026/7/16 11:03:43

C# Color.FromArgb与Color32:RGB值转换与透明度控制实战指南

1. 理解Color.FromArgb与Color32的基本差异 在C#开发中&#xff0c;处理颜色时最常遇到的两个类型就是 Color.FromArgb 和 Color32 。刚开始接触这两个概念时&#xff0c;我也经常搞混它们的用法&#xff0c;直到在实际项目中踩过几次坑后才真正理解它们的区别。 Color.Fr…

作者头像 李华
网站建设 2026/7/16 11:03:27

基于x-ipgmail协议构建邮件加密自动化工具:原理、实现与集成实践

1. 项目概述&#xff1a;为什么我们需要一个邮件加密的“快捷启动器”&#xff1f; 在数字通信成为工作生活基石的今天&#xff0c;电子邮件依然是商务沟通、文件传输和重要信息确认的核心渠道。然而&#xff0c;一封普通的邮件在传输过程中&#xff0c;就像一张写在明信片上的…

作者头像 李华