中国科学技术大学何向南获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学技术大学申请的专利一种面向大模型的知识消除学习的参数调整方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119886308B 。
龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510360851.5,技术领域涉及:G06N5/022;该发明授权一种面向大模型的知识消除学习的参数调整方法及系统是由何向南;丁陈璐;吴剑灿;王翔设计研发完成,并于2025-03-26向国家知识产权局提交的专利申请。
本一种面向大模型的知识消除学习的参数调整方法及系统在说明书摘要公布了:本发明公开了一种面向大模型的知识消除学习的参数调整方法及系统,所述面向大模型的知识消除学习的参数调整方法包括:获取大语言模型初始参数以及消除请求;利用影响函数计算消除请求对应的目标数据对于模型参数的影响,得到参数变化量;根据参数变化量,对适配器模块的参数进行更新。本方法通过引入影响函数,精准估计数据扰动对模型参数的影响,从而避免了传统方法需要完全重新训练模型的高昂计算开销,显著提升了计算效率。通过高效的参数调整机制,在无需重新训练模型的情况下,实现了对多种实例级忘记任务的精准处理。这不仅提高了模型的鲁棒性和准确性,还展现了其在大规模工业场景中的实际应用潜力。
本发明授权一种面向大模型的知识消除学习的参数调整方法及系统在权利要求书中公布了:1.一种面向大模型的知识消除学习的参数调整方法,应用于推荐系统、医疗诊断、金融分析或社交媒体,用于解决因重新训练模型导致的计算资源过高、实时性不足及模型性能退化问题,其特征在于,所述参数调整方法包括: 获取大语言模型初始参数以及消除请求,所述消除请求针对的目标数据包括用户行为数据、医疗数据、文本数据或图像数据; 利用影响函数计算消除请求对应的目标数据对于模型参数的影响,得到参数变化量; 利用影响函数计算消除请求对应的目标数据对于模型参数的影响,得到参数变化量,包括: 解析知识消除请求以确定具体任务类型; 提取与目标数据相关的梯度信息,并结合模型的Hessian矩阵或其近似值,使用影响函数估算目标数据对模型参数的确切影响,得到参数变化量; 基于影响函数的推导,模型参数更新定义如下: ; 其中,为模型参数,为Hessian矩阵的逆,表示模型参数的二阶导数矩阵,用于捕获参数之间的复杂相互关系;为目标实例的梯度信息,表示数据对模型损失函数的贡献,为模型输入,为模型输出; 采用优化算法将逆Hessian向量积问题转化为可扩展的凸二次优化问题: ; 其中,为目标梯度的累积贡献向量,q为优化的目标,即为参数变化量,H为Hessian矩阵; 根据参数变化量,对适配器模块的参数进行更新。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学技术大学,其通讯地址为:230026 安徽省合肥市包河区金寨路96号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。