买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)申请的专利一种注意力剪裁方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120409592B 。

龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510898938.8，技术领域涉及：G06N3/08；该发明授权一种注意力剪裁方法、装置、电子设备及存储介质是由林丰;卢光明;马骁设计研发完成，并于2025-07-01向国家知识产权局提交的专利申请。

本一种注意力剪裁方法、装置、电子设备及存储介质在说明书摘要公布了：本发明实施例公开了一种注意力剪裁方法、装置、电子设备及存储介质，涉及跨模态大模型优化技术领域，其中，所述方法包括：采集多模态样本对作为验证集，根据当前场景的资源条件确定算法进行有害注意力头的定位；若采用遗传算法，则将所有注意力头编码为二进制向量，使用遗传算法和适应度函数在验证集上对二进制向量进行优化得到定位信息；若采用反向传播算法，则为每个注意力头设置抑制系数，使用对比损失函数在验证集上进行训练直至达到设定条件得到定位信息；根据有害注意力头的定位信息对注意力权重矩阵中的数值进行调整，得到调整后的注意力权重矩阵。本发明解决了现有技术中无法自动化、灵活的剪裁有害的注意力头，下游任务性能差的问题。

本发明授权一种注意力剪裁方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种注意力剪裁方法，其特征在于，所述方法包括： 采集多模态样本对作为验证集，若当前场景的不具备浮点运算能力，则采用遗传算法进行有害注意力头的定位，若当前场景具备浮点运算能力，则采用反向传播算法进行有害注意力头的定位；所述多模态样本对包括文本信息和与文本对应的图像信息； 若采用遗传算法，则将所有注意力头编码为二进制向量，随机生成设定数量的不同二进制向量作为初始种群；所述设定数量为注意力头的总数的15-30%； 定义适应度函数，使用遗传算法和锦标赛选择策略对所述初始种群迭代进行交叉和变异；所述适应度函数用于评估每个二进制向量在所述验证集上的性能； 根据所述适应度函数确定最优的二进制向量，根据所述最优的二进制向量得到有害注意力头的定位信息； 若采用反向传播算法，则为每个所述注意力头设置抑制系数，使用对比损失函数在所述验证集上进行训练直至达到设定条件得到有害注意力头的定位信息； 根据所述有害注意力头的定位信息，对待优化跨模态模型的注意力权重矩阵中的有害注意力头对应的数值进行抑制操作；所述抑制操作包括乘以一个小于1的系数； 对抑制后的所述注意力权重矩阵进行行归一化处理，使得剪裁后的注意力头输出符合softmax的行归一化约束，得到新的注意力权重矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)，其通讯地址为：518000 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。