买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州大学申请的专利一种基于注意力漂移约束的稳定知识编辑方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119443059B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411537890.X，技术领域涉及：G06F40/166；该发明授权一种基于注意力漂移约束的稳定知识编辑方法及系统是由王品正;汤泽成;周柯言;王新瑞;李俊涛;张民设计研发完成，并于2024-10-31向国家知识产权局提交的专利申请。

本一种基于注意力漂移约束的稳定知识编辑方法及系统在说明书摘要公布了：本发明提供一种基于注意力漂移约束的稳定知识编辑方法及系统，涉及自然语言处理技术领域，该方法包括大型语言模型的知识编辑过程中，引入选择性注意力漂移限制策略；通过比较编辑前后的模型注意力输出，定位出现严重注意力漂移现象的注意力头；基于新的优化目标目标函数，对模型进行训练，得到最优的模型参数，实现稳定知识编辑。本发明显著提升编辑准确性并降低错误答案概率，实验验证表明该方法有效改进了特异性任务性能，为大型语言模型的知识编辑提供了理论支持和实践指导。

本发明授权一种基于注意力漂移约束的稳定知识编辑方法及系统在权利要求书中公布了：1.一种基于注意力漂移约束的稳定知识编辑方法，其特征在于，包括： 大型语言模型的知识编辑过程中，引入选择性注意力漂移限制策略，所述选择性注意力漂移限制策略包括： 通过比较编辑前后的模型注意力输出，定位出现严重注意力漂移现象的注意力头； 根据设定的约束标准，选择对编辑对象过度关注的注意力头进行约束； 将选择的注意力头的注意力输出与编辑前的输出对齐，以防止过度编辑； 构建选择性注意力漂移限制的目标函数，将选择性注意力漂移限制的目标函数与原始损失函数相结合，形成新的优化目标函数；其中所述构建选择性注意力漂移限制的目标函数的方法为： ； 式中，表示选择性注意力漂移限制的目标函数；表示在处理提示时，第层第个注意力头的注意力权重，其中表示注意力机制的层数，表示在特定层中的注意力头的索引，表示输入的提示或句子；表示经过编辑且带有的模型在处理提示时，第层第个注意力头的注意力权重，其中表示在编辑过程中，针对第层选择的特定模型或方法，表示模型或方法被编辑或修改，并带有一个特定的参数或值z；表示在第个样本中，第层满足特定条件的注意力头的集合，特定条件是指编辑后的模型在最后一个词元上对编辑对象的注意力权重大于原始模型在该层对该对象的最大注意力权重；表示第个输入样本；为Kullback-Leibler散度，用于衡量两个概率分布之间的差异；表示输入样本的总数； 所述将选择性注意力漂移限制的目标函数与原始损失函数相结合，形成新的优化目标函数的方法为： ； 式中，表示新的优化目标函数；表示原始损失函数；表示控制权重； 基于新的优化目标目标函数，对模型进行训练，得到最优的模型参数，实现稳定知识编辑。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州大学，其通讯地址为：215000 江苏省苏州市吴江区久泳西路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。