买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉大学申请的专利面向预训练语言模型的密态微调和推理方法、设备及产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119692396B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411548635.5，技术领域涉及：G06N3/0455；该发明授权面向预训练语言模型的密态微调和推理方法、设备及产品是由何琨;高俊婷;李雨晴;陈晶;杨轩昂;熊翘楚设计研发完成，并于2024-11-01向国家知识产权局提交的专利申请。

本面向预训练语言模型的密态微调和推理方法、设备及产品在说明书摘要公布了：本发明公开了一种面向预训练语言模型的密态微调和推理方法、设备及产品，参与主体包括用户和服务提供商；所述服务提供商，拥有预训练语言模型并且参与密态微调和密态推理，该预训练语言模型的参数是服务提供商的隐私；所述用户，拥有微调数据集和推理的输入、输出，是隐私数据；所述密态微调，在保护服务提供商的预训练语言模型和用户的微调数据集的前提下，对语言模型进行微调，用户得到微调模型的非冻结部分；所述密态推理，在保护用户推理输入和输出的前提下，由服务提供商进行微调模型冻结层的推理，得到的推理结果被交付给用户，用户进行非冻结层的推理并获得推理结果。本发明减少了密态微调和推理的时间和通信开销，并且提升了准确率。

本发明授权面向预训练语言模型的密态微调和推理方法、设备及产品在权利要求书中公布了：1.一种面向预训练语言模型的密态微调和推理方法，参与主体包括用户和服务提供商；其特征在于： 所述语言模型，由多个transformer模块堆叠而成，每个transformer模块分为线形层和非线性层，所述线性层包含嵌入层、矩阵乘法层和全连接层，所述非线性层包含归一化指数函数层Softmax层、高斯误差线性单元层GELU层和层归一化层LayerNorm层； 所述服务提供商，拥有预训练语言模型并且参与密态微调和密态推理，该预训练语言模型的参数是服务提供商的隐私；所述用户，拥有微调数据集和推理的输入、输出，是隐私数据； 所述密态微调，在保护服务提供商的预训练语言模型和用户的微调数据集的前提下，对语言模型进行微调，用户得到微调模型的非冻结部分； 所述密态微调，重复执行包括前向传播和导数的安全计算协议、损失函数的导数安全计算协议、反向传播的安全计算协议和优化器协议在内的四个协议，直至语言模型收敛得到微调模型，服务提供商将其拥有的微调模型未冻结部分的份额交付给用户，此时，用户拥有微调模型的未冻结部分，服务提供商拥有微调模型的冻结部分； 所述前向传播和导数的安全计算协议，用户输入矩阵X，服务提供商输入预训练语言模型MP，输出前向传播的结果份额Z和每层神经网络的导数d，其中，对于份额的含义，以前向传播的结果份额Z为例，Z表示Z0和Z1，Z0+Z1＝Z，下标0表示份额归用户拥有，下标1表示份额归服务提供商拥有； 所述损失函数的导数安全计算协议，用户输入矩阵Y，用户和服务提供商输入前向传播的结果份额Z，输出份额其中表示交叉熵损失函数的导数； 所述反向传播的安全计算协议，用户和服务提供商输入矩阵d，输出梯度份额g； 所述优化器协议，用户和服务提供商输入矩阵g和当前语言模型，输出更新后的语言模型MT； 所述密态推理，在保护用户推理输入和输出的前提下，由服务提供商进行微调模型冻结层的推理，得到的推理结果被交付给用户，用户进行非冻结层的推理并获得推理结果； 所述密态推理，冻结部分的推理，利用前向传播协议计算得到结果份额Z0和Z1，0表示该份额归用户拥有，1表示归服务提供商拥有，然后服务提供商发送Z1给用户；对于未冻结部分的推理，由用户输入Z在本地计算得出最终的预测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉大学，其通讯地址为：430072 湖北省武汉市武昌区八一路299号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。