CANN/asc-devkit：L0C到UB数据搬运

# L0C Buffer到UB数据搬运（DataCopy）

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

说明：本接口搬运功能仅在Atlas 推理系列产品AI Core产品型号的L0C Buffer->UB（CO1 -> CO2）通路支持。其他型号和其他通路支持接口调用但功能不生效，功能等同于基础数据搬运。

• Ascend 950PR/Ascend 950DT：不支持

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：不支持

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：不支持

• Atlas 200I/500 A2 推理产品：不支持

• Atlas 推理系列产品AI Core：支持

• Atlas 推理系列产品Vector Core：不支持

• Atlas 训练系列产品：不支持

功能说明

对数据搬运能力进行增强，相比于基础数据搬运接口，增加了L0C Buffer->Unified Buffer（UB）通路的随路计算。

函数原型

• Local Memory -> Local Memory

  template <typename T> __aicore__ inline void DataCopy(const LocalTensor<T>& dst, const LocalTensor<T>& src, const DataCopyParams& intriParams, const DataCopyEnhancedParams& enhancedParams)

• Local Memory -> Local Memory，支持源操作数和目的操作数类型不一致。

  template <typename T, typename U> __aicore__ inline void DataCopy(const LocalTensor<T>& dst, const LocalTensor<U>& src, const DataCopyParams& intriParams, const DataCopyEnhancedParams& enhancedParams)

说明：各原型支持的具体数据通路和数据类型，请参考数据类型。

参数说明

表1模板参数说明

表2参数说明

表3DataCopyEnhancedParams结构参数说明

表4不同blockMode对应的参数单位

表5deqScale参数列表

表6deqValue配置方式

图1sidStoreMode配置示意图

![](https://raw.gitcode.com/cann/asc-devkit/raw/1cd1d1192e01ae4a8684cd07552c35e13e5c4bdf/docs/zh/api/figures/sidStoreMode配置示意图.png "sidStoreMode配置示意图"?utm_source=gitcode_repo_files)

数据类型

源操作数和目的操作数的数据类型保持一致时，支持的数据类型为：half、float、int32_t、uint32_t。

表7源操作数和目的操作数的数据类型不一致时的支持情况

返回值说明

无

约束说明

• 开发者需要保证DataCopyEnhancedParams中的isRelu参数配置和量化系数deqValue/量化参数向量deqTensorAddr的ReLU标志位配置一致：都开启或都不开启。
• 如果有随路精度转换，操作数的blockLen单位需要减半。

调用示例

• Local Memory -> Local Memory

  // srcLocal、dstLocal为half类型的LocalTensor // 使用传入DataCopyParams参数的搬运接口，支持连续和非连续搬运 DataCopyParams intriParams; intriParams.blockCount = 1; // 连续数据块个数为1 intriParams.blockLen = 512 * sizeof(half) / 32; // 连续数据块长度，单位为DataBlock，此处长度为512个half元素 intriParams.srcGap = 0; // 源操作数做连续搬运 intriParams.dstGap = 0; // 目的操作数连续排布 DataCopyEnhancedParams enhancedParams; enhancedParams.blockMode = BlockMode::BLOCK_MODE_MATRIX; // 传输单位为16*16的cube分形 enhancedParams.deqScale = DeqScale::DEQ_NONE; // 不做量化 enhancedParams.deqValue = 0; enhancedParams.deqTensorAddr = 0; enhancedParams.sidStoreMode = 0; // 仅deqScale为DEQ8/VDEQ8时生效 enhancedParams.isRelu = false; // 不支持ReLU enhancedParams.padMode = pad_t::PAD_NONE; // 预留参数 // 功能等同基础数据搬运 AscendC::DataCopy(dstLocal, srcLocal, intriParams, enhancedParams);

• Local Memory -> Local Memory，源操作数与目的操作数类型不一致

  // 以下示例为L0C Buffer -> UB通路的数据搬运，仅在Atlas 推理系列产品AI Core场景下支持。srcLocal为int32_t类型的L0C Buffer上的LocalTensor，dstLocal为int8_t类型的UB上的LocalTensor // 使用传入DataCopyParams参数的搬运接口，支持连续和非连续搬运 DataCopyParams intriParams; intriParams.blockCount = 1; // 连续数据块个数为1 intriParams.blockLen = 512 * sizeof(half) / 32; // 连续数据块长度，单位为DataBlock，此处长度为512个half元素 intriParams.srcGap = 0; // 源操作数做连续搬运 intriParams.dstGap = 0; // 目的操作数连续排布 DataCopyEnhancedParams enhancedParams; enhancedParams.blockMode = BlockMode::BLOCK_MODE_MATRIX; // 传输单位为16*16的cube分形 enhancedParams.deqScale = DeqScale::DEQ8; // int32_t -> int8_t量化模式，配合deqValues使用 enhancedParams.deqValue = 70369809530880; // float 1 = uint64_t 1065353216, when s322s8 use 1065353216 | (1 << 46) enhancedParams.deqTensorAddr = 0; // 仅VDEQ模式下使用 enhancedParams.sidStoreMode = 2; // dstLocal的数据存储在完整的DataBlock中 enhancedParams.isRelu = false; // 不支持ReLU enhancedParams.padMode = pad_t::PAD_NONE; // 预留参数 // 此时dstLocal = srcLocal AscendC::DataCopy(dstLocal, srcLocal, intriParams, enhancedParams);

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit