买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种用于大语言模型中Softmax函数训练的装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116822616B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310881111.7，技术领域涉及：G06N3/084；该发明授权一种用于大语言模型中Softmax函数训练的装置是由王中风;邵海阔;鲁金铭设计研发完成，并于2023-07-18向国家知识产权局提交的专利申请。

本一种用于大语言模型中Softmax函数训练的装置在说明书摘要公布了：本发明提供了一种用于大语言模型中Softmax函数训练的装置，所述装置的上半部分是前向传播路径，下半部分是反向传播路径；所述前向传播路径包含ex指数函数单元、加法器和除法器，在ex指数函数单元、加法器和除法器之间均插入了寄存器；所述反向传播路径包含两个乘法器、一个加法器A1，以及用于重构数据路径的多路选择器MUX；所述两个乘法器分别为左侧乘法器B1，右侧乘法器B2；所述多路选择器MUX用于改变装置内部的数据流；所述前向传播路径和反向传播路径共用两个随机存取存储器RAM1和RAM2。本发明可应用于Softmax函数在训练各个阶段的计算，从而更好地利用计算和存储资源，以实现更高的性能和能效。

本发明授权一种用于大语言模型中Softmax函数训练的装置在权利要求书中公布了：1.一种用于大语言模型中Softmax函数训练的装置，所述大语言模型是Transformer类模型，其特征在于，所述装置的上半部分是前向传播路径，下半部分是反向传播路径； 所述前向传播路径包含ex指数函数单元、加法器和除法器，在ex指数函数单元、加法器和除法器之间均插入了寄存器； 所述反向传播路径包含两个乘法器、一个加法器A1，以及用于重构数据路径的多路选择器MUX；所述两个乘法器分别为左侧乘法器B1，右侧乘法器B2； 所述多路选择器MUX用于改变装置内部的数据流； 所述前向传播路径和反向传播路径共用两个随机存取存储器RAM1和RAM2； 所述前向传播路径使用串行化处理的方式来完成前向传播的计算：输入数据是向量m中的元素m1,m2,…,ms，输入数据存储在RAM1中；计算开始后，m1,m2,…,ms从RAM1中依次取出，先经过ex指数函数单元完成指数运算，各元素m1,m2,…,ms的ex计算结果在加法器中完成累加，同时ex计算结果被保存在RAM2中；当向量m中的所有元素完成了指数运算后，加法器累加得到存储在了RAM2中；然后，被传输到除法器的除数输入端口，从RAM2中取出并依次传输到除法器的被除数输入端口，除法器的输出依次是n1,n2,…,ns； 在串行化处理过程中，除法计算需要等到向量m中的所有元素完成ex指数运算并得到累加结果后才能开始，将除法计算分为两个阶段：ex指数运算和累加阶段和除法运算阶段，两个阶段的计算采用流水线的方式进行； 设定Softmax函数前向传播过程中的输入矩阵表示s行s列的实数矩阵，设定矩阵M中的各行向量依次表示为m1,m2,…,ms，其中ms表示矩阵M中第s行的向量，ms＝ms1,ms2,…,mss，mss表示向量ms中的第s个元素，下标表示元素在向量中的位置，向量ms的长度为s；当m1完成指数和累加运算，进行除法运算后，m2开始新的指数和累加运算，无需m1等待计算完成；两个阶段的计算并行进行。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号南京大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。