南方科技大学林龙扬获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南方科技大学申请的专利一种模型训练方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119358699B 。
龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411315860.4,技术领域涉及:G06N20/00;该发明授权一种模型训练方法是由林龙扬;董纬荣;李瑚淼;孔镇;杨郑轲;何俊杰;周凯;黄筠凯;聂家政;李嘉敏;周菲迟设计研发完成,并于2024-09-20向国家知识产权局提交的专利申请。
本一种模型训练方法在说明书摘要公布了:本发明涉及深度学习模型技术领域,具体是涉及一种模型训练方法。本发明首先在GPU上对原始模型进行预训练,以得到预训练权重矩阵,然后给预训练权重矩阵添加噪声,之后继续训练模型,以更新权重矩阵,直至模型收敛,以得到已训练权重矩阵,最后将其写入至非易失性存储器设备。由于本发明在模型训练的过程中引入了噪声,使得模型学会了对权重变化的不敏感性。当将已训练权重矩阵从GPU写入至非易失性存储器设备,虽然由于非易失性存储器设备的特性导致已训练权重矩阵发生了变化,本发明的模型已经学会了对权重变化的不敏感性,因此位于非易失性存储器设备的模型依然有很高的预测精度。本发明采用LoRA微调技术,显著提高了抗噪声训练的效率。
本发明授权一种模型训练方法在权利要求书中公布了:1.一种模型训练方法,其特征在于,包括: 通过GPU对原始模型进行预训练,得到预训练模型,并获取所述预训练模型的预训练权重矩阵; 生成与非易失性存储器设备相对应的预设噪声,并将所述预设噪声添加进所述预训练权重矩阵,得到预训练噪声权重矩阵; 基于所述预训练噪声权重矩阵,通过所述GPU继续训练所述预训练模型,得到已训练模型所对应的已训练权重矩阵,并将所述已训练权重矩阵写入非易失性存储器设备; 所述生成与非易失性存储器设备相对应的预设噪声,并将所述预设噪声添加进所述预训练权重矩阵,得到预训练噪声权重矩阵,包括: 获取所述GPU与所述非易失性存储器设备之间的数据损失; 生成与所述数据损失相对应的预设噪声; 确定与所述预设噪声相对应的噪声矩阵; 依据所述噪声矩阵和所述预训练权重矩阵,得到预训练噪声权重矩阵; 所述基于所述预训练噪声权重矩阵,通过所述GPU继续训练所述预训练模型,得到已训练模型所对应的已训练权重矩阵,包括: 获取所述预训练噪声权重矩阵所包含的行数和列数,并依据所述预训练噪声权重矩阵的行数和列数,生成辅助矩阵; 通过所述GPU继续训练所述预训练模型,每次迭代训练时,更新所述辅助矩阵,直至模型再次收敛,得到最终的辅助更新矩阵; 依据所述预训练噪声权重矩阵和最终的辅助更新矩阵,得到已训练权重矩阵。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南方科技大学,其通讯地址为:518055 广东省深圳市南山区桃源街道学苑大道1088号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励