买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利基于FPGA的硬件感知可微分BERT层头剪枝方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115545187B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211294121.2，技术领域涉及：G06N3/082；该发明授权基于FPGA的硬件感知可微分BERT层头剪枝方法是由白玥寅;王堃;俞军设计研发完成，并于2022-10-21向国家知识产权局提交的专利申请。

本基于FPGA的硬件感知可微分BERT层头剪枝方法在说明书摘要公布了：本发明公开了一种基于FPGA的硬件感知可微分BERT层头剪枝方法。其包括以下步骤：引入可微分NAS的思路，为预训练好的BERT模型的每一个编码层，每一个注意力头，每一个前馈神经网络FFN维度均设置一个架构参数；对单层BERT模型进行仿真，得到四个模块的时延和功耗结果；计算单维子模块对应的时延Ls分数和功耗Ps分数；计算完整模型的Lf分数和Pf分数；训练更新模型的权重参数和，最小化完整的loss；模型训练收敛后，对于小于阈值的，将其对应的模型结构剪枝掉。本发明可在没有精度损失的情况下，将BERT‑base模型参数量压缩1.8倍，同时在FPGA上的推理时延缩小2.1倍，功耗降低1.9倍。

本发明授权基于FPGA的硬件感知可微分BERT层头剪枝方法在权利要求书中公布了：1.一种基于FPGA的硬件感知可微分BERT层头剪枝方法，其特征在于：包括以下步骤： S1：引入可微分NAS的思路，为预训练好的BERT模型的每一个编码层，每一个注意力头，每一个前馈神经网络FFN维度分别设置一个架构参数α； S2：对预训练好的BERT模型中的单层进行仿真，得到单层BERT模型中四个模块的时延和功耗的综合结果；所述四个模块为嵌入模块、注意力模块、前馈神经网络FFN模块和最终的池化模块，这四个模块分别代表预训练好的BERT模型中的嵌入层、注意力层、前馈网络FFN层和最终池化层； S3：将S2中仿真得到的四个模块的时延和功耗分别除以预训练好的BERT模型中四个模块对应的维数，得出单维子模块对应的时延分数Ls和功耗分数Ps，其中，预训练好的待剪枝的BERT模型中嵌入模块、注意力模块、最终的池化快的维数为隐藏层维数，FFN前馈神经网络模块的维数为FFN中间层维数； S4：通过四个单维子模块的Ls分数和Ps分数，计算搜索到的引入架构参数α的BERT模型的用于硬件感知的推理时延评估分数Lf和推理功耗评估分数Pf： 其中：layer表示层数，Ls‑1、Ls‑2、Ls‑3、Ls‑4是四个单维子模块的时延分数，Ps‑1、Ps‑2、Ps‑3、Ps‑4是四个单维子模块的功耗分数，N1和N2分别是搜索到的引入架构参数α的BERT模型的隐藏层尺寸和FFN中间层尺寸； S5：训练更新引入架构参数α的BERT模型的权重和架构参数α，最小化模型完整的损失函数L，损失函数L包括交叉熵损失函数Lce，Lf分数、Pf分数和损失函数L0‑1： L＝Lce+Lf+Pf+L0‑1其中：损失函数L0‑1用于使架构参数α更趋近于0或1，减小可微分NAS中搜索得到的混合模型和剪枝后的离散模型的性能差异，引导搜索，即训练更新过程； S6：引入架构参数α的BERT模型训练收敛后，对于小于阈值τ的架构参数α，将其对应的模型结构剪枝掉，实现BERT模型的层头混合剪枝；剪枝掉的模型结构选自编码层，注意力头或FFN中间维度中的一种或多种。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。