买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院自动化研究所申请的专利预训练模型的参数微调方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119849576B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411904379.9，技术领域涉及：G06N3/082；该发明授权预训练模型的参数微调方法、装置、设备及介质是由马喜波;张敬磊设计研发完成，并于2024-12-23向国家知识产权局提交的专利申请。

本预训练模型的参数微调方法、装置、设备及介质在说明书摘要公布了：公开了一种预训练模型的参数微调方法、装置、设备及介质。参数微调方法基于文本数据集对用于自然语言处理的预训练模型进行参数微调，预训练模型包括具有初始权重矩阵的线性层，所述参数微调方法包括：对线性层施加基于至少一个旋转矩阵的正交变换并根据正交变换获得角度参数矩阵，基于初始权重矩阵和角度参数矩阵来构建正交微调层，将预训练模型中的线性层替换为正交微调层以获得待微调模型；基于文本数据集通过梯度反向传播算法仅更新角度参数矩阵以实现对待微调模型的训练；以及将经训练的待微调模型作为参数微调的结果进行输出。

本发明授权预训练模型的参数微调方法、装置、设备及介质在权利要求书中公布了：1.一种预训练模型的参数微调方法，其特征在于，所述参数微调方法基于文本数据集对用于自然语言处理的预训练模型进行参数微调，所述预训练模型包括具有初始权重矩阵的线性层，所述参数微调方法包括： 对所述线性层施加基于至少一个旋转矩阵的正交变换并根据所述正交变换获得角度参数矩阵，基于所述初始权重矩阵和所述角度参数矩阵来构建正交微调层，将所述预训练模型中的所述线性层替换为所述正交微调层以获得待微调模型； 基于所述文本数据集通过梯度反向传播算法仅更新所述角度参数矩阵以实现对所述待微调模型的训练；以及 将经训练的所述待微调模型作为参数微调的结果进行输出， 其中，所述角度参数矩阵为所述至少一个旋转矩阵中的全部旋转矩阵的乘积， 其中，所述正交微调层为所述初始权重矩阵乘以所述角度参数矩阵，并且 其中，所述正交微调层表示为：， 其中，为所述正交微调层，为所述初始权重矩阵，为所述角度参数矩阵，， 为所述至少一个旋转矩阵中的旋转矩阵， 所述至少一个旋转矩阵中的每个旋转矩阵表示为： 其中，是旋转矩阵的维度，且是k×k维的旋转子空间，，a和b为正整数，表示将向量对角化的函数，旋转子空间表示为： 表示在维矩阵中由个旋转子空间来填充， ， ，，……为可学习角度参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院自动化研究所，其通讯地址为：100190 北京市海淀区中关村东路95号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。