买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利一种基于加权注意力对齐的模型剪枝方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119990231B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510000758.3，技术领域涉及：G06N3/082；该发明授权一种基于加权注意力对齐的模型剪枝方法及系统是由郭锴凌;陈明;徐向民设计研发完成，并于2025-01-02向国家知识产权局提交的专利申请。

本一种基于加权注意力对齐的模型剪枝方法及系统在说明书摘要公布了：本发明公开一种基于加权注意力对齐的模型剪枝方法及系统，涉及人工智能，针对现有技术中缺乏关联等问题提出本方案。包括以下步骤：S1.预微调：先利用预训练模型参数初始化目标模型，然后使用目标域的数据对批归一化层参数进行若干次L1正则化微调；S2.预剪枝：对训练好的目标模型的批归一化层参数绝对值进行全局排序，将末尾的通道剪去，得到预剪枝的模型；S3.基于加权注意力对齐的模型剪枝训练：对剪枝后的模型进行剪枝微调训练，通过加权注意力对齐机制引入预训练模型的指导，得到针对目标域数据集的剪枝模型。优点在于，实现预训练知识的高效利用、实现剪枝与迁移的有效结合、提升剪枝性能、减少训练时间。

本发明授权一种基于加权注意力对齐的模型剪枝方法及系统在权利要求书中公布了：1.一种基于加权注意力对齐的模型剪枝方法，其特征在于，包括以下步骤： S1.预微调：先利用预训练模型参数初始化目标模型，然后使用目标域的数据对批归一化层参数进行若干次L1正则化微调； S2.预剪枝：对训练好的目标模型的批归一化层参数绝对值进行全局排序，将末尾的通道剪去，得到预剪枝的模型； S3.基于加权注意力对齐的模型剪枝训练：对剪枝后的模型进行剪枝微调训练，通过加权注意力对齐机制引入预训练模型的指导，得到针对目标域数据集的剪枝模型； 在所述加权注意力对齐机制中，加权注意力图的计算步骤如下：获取卷积神经网络的批归一化层参数其中C表示通道数，获取该批归一化层后的激活层输出的中间张量其中H和W分别表示特征图的高和宽； 所述加权注意力图的计算使用函数获得，包括以下子步骤： S31.将批归一化层参数w进行softmax归一化得到权重向量 S32.池化所述中间张量其中A表示池化后的特征图尺寸； S33.将权重向量与池化后的中间张量按通道相乘得到加权张量 S34.加权张量按通道求和其中表示张量`的前向切片；然后经过Frobenius归一化得到加权注意力图其中Fi,j表示矩阵第i行，第j列的元素； 在所述步骤S3中，设置加权注意力对齐模块、输出特征对齐模块和目标域感知训练模块； 所述加权注意力对齐模块利用所述加权注意力对齐机制得到预训练模型和剪枝模型的加权注意力图，并在对应位置对齐二者的加权注意力图，利用预训练模型知识指导剪枝模型的微调训练，提高剪枝性能；对于共有B个该网络结构块的网络，损失函数为其中分别表示预训练模型和剪枝模型的第k个网络结构块中的批归一化层的参数，分别表示第i张图片输入预训练模型和剪枝模型的第k个网络结构块的输出特征张量，WAM·,·是加权注意力图函数，表示Frobenius范数的平方； 所述输出特征对齐模块将剪枝模型的分类头替换为预训练模型的分类头，然后执行概率分布对齐；损失函数为其中分别表示第i张图片输入预训练模型和剪枝模型的特征提取器后，再输入到预训练模型的分类头的输出概率分布，DKL·是KL散度函数； 所述目标域感知训练模块对剪枝模型进行小型数据集的微调训练，使用数据标签进行有监督的训练；损失函数为其中表示第i张图片输入剪枝模型的特征提取器后，再输入到剪枝模型的分类头的输出概率分布，yi是第i张图片的标签，CE·是交叉熵函数； 单张图片的损失函数为： 其中α,β为平衡系数； 最后得到针对小型数据集的剪枝模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510641 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。