中国科学院自动化研究所赵军获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉中国科学院自动化研究所申请的专利基于冲突注意力头剪枝的知识冲突消除方法以及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119358624B 。
龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411309928.8，技术领域涉及：G06N3/082；该发明授权基于冲突注意力头剪枝的知识冲突消除方法以及装置是由赵军;曹鹏飞;陈玉博;刘康;金卓然设计研发完成，并于2024-09-19向国家知识产权局提交的专利申请。
本基于冲突注意力头剪枝的知识冲突消除方法以及装置在说明书摘要公布了：本发明提供一种基于冲突注意力头剪枝的知识冲突消除方法以及装置，其中，上述方法包括：获取原始输入与干扰输入；基于原始输入运行目标语言模型，确定每个注意力头的原始激活状态；基于干扰输入运行目标语言模型，确定每个注意力头的干扰激活状态；分别将每个注意力头的原始激活状态替换为干扰激活状态，确定每个注意力头的输出变化量；进而确定每个注意力头的代理重要性分数；基于每个注意力头的代理重要性分数进行排序，将目标序号的注意力头作为冲突注意力头，其中，冲突注意力头为上下文头；对冲突注意力头进行注意力剪枝，以消除目标语言模型的知识冲突；通过本发明能够提高模型在处理内部记忆和外部上下文时的灵活性。
本发明授权基于冲突注意力头剪枝的知识冲突消除方法以及装置在权利要求书中公布了：1.一种基于冲突注意力头剪枝的知识冲突消除方法，其特征在于，包括： 获取原始输入与干扰输入，其中，目标语言模型基于所述原始输入的第一输出结果与基于所述干扰输入的第二输出结果存在知识冲突； 基于所述原始输入运行所述目标语言模型，确定所述目标语言模型中所有注意力头中的每个注意力头的原始激活状态； 基于所述干扰输入运行所述目标语言模型，确定所述目标语言模型中所有注意力头中的每个注意力头的干扰激活状态； 分别将每个注意力头的原始激活状态替换为干扰激活状态，确定每个注意力头的输出变化量； 基于所述每个注意力头的输出变化量，确定每个注意力头的代理重要性分数； 基于所述每个注意力头的代理重要性分数进行排序，将目标序号的注意力头作为冲突注意力头，其中，所述冲突注意力头为上下文头； 对所述冲突注意力头进行注意力剪枝，以消除所述目标语言模型的所述知识冲突。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院自动化研究所，其通讯地址为：100190 北京市海淀区中关村东路95号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励