买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种Swin-Transformer推理硬件加速器获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117010460B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310972001.1，技术领域涉及：G06N3/048；该发明授权一种Swin-Transformer推理硬件加速器是由王中风;董琦玮;谢逍如设计研发完成，并于2023-08-03向国家知识产权局提交的专利申请。

本一种Swin-Transformer推理硬件加速器在说明书摘要公布了：本发明提供了一种Swin‑Transformer推理硬件加速器，包括外部存储、静态随机存取存储器SRAM和寄存器Reg构成的三层存储层次结构、两个量化单元、一个外积矩阵乘法阵列和三个非线性计算单元；本发明借助SwinTransformer独有的计算特性设计了应用在端侧的专用硬件加速架构，并在FPGA平台上进行了验证，该加速器的能效比NVIDIARTX2080TiGPU提高了15.14倍，比现有的Transformer加速器提高了2.02到3.11倍。

本发明授权一种Swin-Transformer推理硬件加速器在权利要求书中公布了：1.一种Swin-Transformer推理硬件加速器，其特征在于，包括外部存储、静态随机存取存储器SRAM和寄存器Reg构成的三层存储层次结构、两个量化单元、一个外积矩阵乘法阵列和三个非线性计算单元； 所述外部存储用于存储片外的数据； 所述静态随机存取存储器SRAM用于存储片上的数据； 所述寄存器Reg用于存储计算的中间结果数据； 所述两个量化单元，分别用于实现数据的8位量化和16位量化； 所述外积矩阵乘法阵列用于计算SwinTransformer中所有类型的矩阵乘法，包括采样稠密稠密矩阵乘法SDDMM、稀疏稠密矩阵乘法SpMM和稠密矩阵乘法； 所述三个非线性计算单元分别为归一化指数函数Softmax单元、高斯误差线性单元GELU单元和层归一化LayerNorm单元，所述Softmax单元用于实现归一化指数函数计算，所述GELU单元用于实现高斯误差线性单元计算，所述层归一化LayerNorm单元用于实现层归一化计算； 所述静态随机存取存储器SRAM包含参数SRAM、第一输入SRAM和第二输入SRAM三部分，所述参数SRAM用于存储计算中需要用到的参数，所述第一输入SRAM用于存储从外部存储中读取的输入数据和16位的中间计算结果，所述第二输入SRAM用于存储8位的中间计算结果； 其中，所述参数SRAM中的多头自注意力MSA部分和多层感知机MLP部分用作乒乓缓存来减小访问外部存储的延迟； 分别为Softmax单元、GELU单元和LayerNorm单元设计基于流水线交织的数据流： 所述Softmax单元的流水线交织数据流包括：在计算MSA时，外积矩阵乘法阵列和Softmax单元一次处理一个窗中一个头的数据；将一个窗中GH个头分为一组，并重新排列每组中矩阵乘法的计算顺序，即先完成GH个头的生成Q、K矩阵和Attn＝QK的计算，将一组中GH个头的生成V矩阵和O＝SV的计算放在计算过程的最后；与第i个头的Softmax数据无关的矩阵乘法将会与第i个头的Softmax计算融合； 所述GELU单元的流水线交织数据流包括：当将MLP中的矩阵乘法部署到所述加速器上时，外积矩阵乘法阵列一次生成第一全连接层和第二全连接层输出矩阵的一部分，输出矩阵大小为49×32；第一全连接层输出矩阵中已经生成的部分送入GELU单元，得到相应的计算结果；同时，外积矩阵乘法阵列继续计算第一全连接层输出矩阵的下一部分； 所述LayerNorm单元的流水线交织数据流包括：重新排列两个窗口的多头自注意力MSA和多层感知机MLP的计算顺序以覆盖LayerNorm的计算时间，即先完成两个窗口的多头自注意力MSA计算，再进行对应的多层感知机MLP计算；同一时刻，片上存储会同时存储两个窗的数据；在完成一个窗整个SwinTransformer块的计算后，结果被写回到外部存储，然后从外部存储加载第三个窗的数据； LayerNorm单元与MSA中的输出线性映射OL或MLP中的第二全连接层融合；MSA中的自注意力和MLP中的第一全连接层用于覆盖片上存储与片外存储之间数据传输的时间； 非线性计算单元的并行度N由流水线交织数据流决定，按如下公式计算： 其中，#ofcyclesnon-linear是非线性计算单元获得一组完整结果的计算周期数，#ofcyclesmat_mul是与非线性计算融合的矩阵乘的计算周期数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号南京大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。