买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京大学申请的专利应用于Transformer神经网络的层归一化处理硬件加速器及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114118343B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202010898001.8，技术领域涉及：G06N3/045；该发明授权应用于Transformer神经网络的层归一化处理硬件加速器及方法是由王中风;路思远;王美琪;梁双;林军设计研发完成，并于2020-08-31向国家知识产权局提交的专利申请。

本应用于Transformer神经网络的层归一化处理硬件加速器及方法在说明书摘要公布了：本申请公开了应用于Transformer神经网络的层归一化处理硬件加速器及方法，该硬件加速器包括中间矩阵存储单元、第一均值计算单元、第二均值计算单元、第一平方计算单元、第二平方计算单元、平方根倒数计算单元及输出矩阵计算单元。中间矩阵存储单元、第一均值计算单元及平方根倒数计算单元的输出端均接至输出矩阵计算单元，第一均值计算单元的输出端接至第一平方计算单元。第一平方计算单元的输出端接至平方根倒数计算单元。第二平方计算单元的输出端接至第二均值计算单元。第二均值计算单元的输出端接至平方根倒数计算单元。通过硬件加速器执行层归一化处理，能够减小延时，提高Transformer神经网络的运算速度和效率。

本发明授权应用于Transformer神经网络的层归一化处理硬件加速器及方法在权利要求书中公布了：1.一种应用于Transformer神经网络的层归一化处理硬件加速器，其特征在于，所述层归一化处理硬件加速器包括： 中间矩阵存储单元、第一均值计算单元、第二均值计算单元、第一平方计算单元、第二平方计算单元、平方根倒数计算单元及输出矩阵计算单元； 所述中间矩阵存储单元的输出端接至所述输出矩阵计算单元； 所述第一均值计算单元的输出端分别接至所述第一平方计算单元及所述输出矩阵计算单元； 所述第一平方计算单元的输出端接至所述平方根倒数计算单元； 所述第二平方计算单元的输出端接至所述第二均值计算单元； 所述第二均值计算单元的输出端接至所述平方根倒数计算单元； 所述平方根倒数计算单元的输出端接至所述输出矩阵计算单元； 所述中间矩阵存储单元用于获取并存储所述中间矩阵，所述中间矩阵为多头注意力层处理过程中的第一中间矩阵或前馈层处理过程中的第二中间矩阵； 所述第一均值计算单元用于计算所述中间矩阵中每行元素的均值，并将计算结果输入至所述第一平方计算单元； 所述第一平方计算单元用于对所述第一均值计算单元输入的值执行平方运算，获取所述中间矩阵中每行元素均值的平方； 所述第二平方计算单元用于针对所述中间矩阵中的每个元素执行平方运算，获取平方矩阵； 所述第二均值计算单元用于计算所述平方矩阵每行元素的均值； 所述平方根倒数计算单元用于根据所述中间矩阵每行元素均值的平方及所述平方矩阵每行元素的均值，获取所述中间矩阵每行元素方差的平方根倒数，用于根据以下公式，获取所述中间矩阵每行元素的方差： ； ； 其中，表示所述中间矩阵G第i行元素的方差，表示所述中间矩阵G第i行元素的均值，表示所述平方矩阵第i行元素平方的均值，表示所述中间矩阵第i行第k列的元素，表示所述中间矩阵的总列数； 所述输出矩阵计算单元用于根据以下公式，对所述中间矩阵的每个元素、所述中间矩阵每行元素的均值及所述中间矩阵每行元素方差的平方根倒数进行层归一化处理，获得所述多头注意力层或所述前馈层最终的输出矩阵： ； 其中，表示所述输出矩阵中第i行第j列的元素，表示所述中间矩阵G第i行元素的方差，表示所述中间矩阵G第i行第j列的元素，表示所述中间矩阵第i行元素的均值，ε为第一参数，表示第二参数，表示第三参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。