买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西南石油大学申请的专利一种基于松弛化散度函数知识蒸馏的视频异常行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115984749B 。

龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310021229.2，技术领域涉及：G06V20/40；该发明授权一种基于松弛化散度函数知识蒸馏的视频异常行为识别方法是由罗仁泽;谭亮;林虹宇;刘恒;罗任权;邓治林;余泓;李华督设计研发完成，并于2023-01-07向国家知识产权局提交的专利申请。

本一种基于松弛化散度函数知识蒸馏的视频异常行为识别方法在说明书摘要公布了：本发明公开了一种基于松弛化散度函数知识蒸馏的视频异常行为识别方法，该方法使得教师网络和学生网络的输出可以更加松弛的匹配，以提高知识的蒸馏效果。具体实施方法为：首先从全部数据集中随机提取出连续的视频图片并进行预处理作为训练样本；然后送入本发明提出的教师网络中进行训练，得到网络的最优参数；然后利用教师网络的最优参数来蒸馏训练学生网络；由于教师网络和学生网络存在较大的容量差异，我们使用本发明提出的松弛化散度函数对两个网络的输出置信度进行匹配；然最后使用软损失和硬损失作为联合损失函数，对学生网络的误差进行反向传播，进而优化学生网络的参数，以达到最优。

本发明授权一种基于松弛化散度函数知识蒸馏的视频异常行为识别方法在权利要求书中公布了：1.一种基于松弛化散度函数知识蒸馏的视频异常行为识别方法，其特征在于包括以下步骤： 步骤1、制作训练样本X，具体步骤如下： 1从数据集中随机选取出n个帧数为f的视频样本X′，f∈1,64]；X′为c×f个a×b矩阵，a∈224,1080；b∈224,1080；c为视频图像的通道数量，c∈{1,3}； 2对n个帧数为f的视频样本X′进行尺寸变换得到变换尺寸视频样本X″，X″为c×f个w×h；w、h为固定值224；然后对X″进行最大最小值归一化处理得到归一化视频样本X″′，X″′为c×f个w×h矩阵；计算公式如下： 式中x″′wh代表矩阵X″′中的单个元素，x″′wh∈-1,1；x″wh代表矩阵X″′中的单个元素，x″wh∈0,255；xmin代表归一化的最小值，xmin＝-1；xmax代表归一化的最大值，xmax＝1； 3最后将n个归一化视频样本X″′组成一个集合X作为训练样本，X＝{X″′1，X″′2，X″′3，…，X″′n}；训练样本X为n×c×f个w×h矩阵；n为训练样本X中归一化视频样本X″′的数量，n∈N； 步骤2、对训练样本X进行数据增强，得到增强样本具体步骤如下： 1当第i轮训练轮次的随机概率qi大于触发概率pi时，qi＝random0,1；触发概率pi的计算公式为： 式中pi为数据增强算法的第i轮触发概率，pi∈0,1]；em代表最大训练轮次，em∈N；ei代表当前第i轮训练轮次，ei∈1，em]；算法对n个归一化视频样本X″′进行数据增强得到增强视频样本为c×f个w×h矩阵；的计算公式如下： 式中，f为归一化视频样本X″′的帧数，Zi″′；i＝{1,2，…，f}，代表归一化视频样本X″′中第i帧图像，Zi″′为c个w×h矩阵；Mi；i＝{1,2，…，f}，代表与归一化视频样本X″′中第i帧图像Z″′i相乘的掩膜，Mi为c个w×h矩阵； 2对将n个增强视频样本组合得到增强样本增强算法的计算公式为： 式中，qi为第i轮训练轮次的随机概率，qi＝random0,1；pi为增强算法在第i轮训练轮次的触发概率；X为训练样本，训练样本X为n×c×f个w×h矩阵；代表增强视频样本，增强视频样本为c×f个w×h矩阵，代表增强样本，为n个增强视频样本组成的集合，为n×c×f个w×h矩阵。 步骤3、构建教师网络MSFP-NET，将增强样本送入教师网络MSFP-NET中进行训练，得到MSFP-NET准确率Acc最高的模型参数Pt，具体步骤如下： 1构建视频异常行为识别模型MSFP-NET，MSFP-NET由MSAI、MSFP和三维卷积构成，计算公式如下所示： MSFP-NETX＝MSAIMSFPMSAIConv3×3×3Conv1×1×1Conv7×7×7X 式中，Conv1×1×1·代表1×1×1卷积，Conv3×3×3·代表3×3×3卷积，Conv7×7×7·代表7×7×7卷积，MSFP为多尺度融合块，MSFP由多尺度的平均池化和1×1×1卷积组合而成，计算公式如下： 式中GAP·代表全局池化，Conv1×1×1·代表核为1×1×1的卷积，N代MSFP的尺度数量，N＝3；APk×k·代表核为k×k×k的平均池化，k∈{3,5,7}； MSAI代表多尺度注意力特征块，Inception由3×3卷积和1×1卷积构成，计算公式如下： MSAIX＝3DInceptionX+Conv1×1×1MSAConv1×1×1X 式中3DInception代表三维多尺度特征提取块，3DInception由3×3×3卷积Conv3×3×3·和1×1×1卷积Conv1×1×1·构成，计算公式如下： 3DInception＝ConcatConv1×1×1X，Conv3×3×3Conv1×1×1X，Conv3×3×3Conv1×1×1X 式中，ConcatX1，X2，X3代表将特征X1、X2、X3的矩阵特征进行顺序排列得到XCat，X1、X2、X3为n×c×f个w×h矩阵；XCat为n×c×3×f个w×h矩阵； MSA代表多尺度注意力模块，由多尺度的平均池化和卷积组合而成，计算公式如下： 式中，DW_Conv5×5×5代表卷积核大小为5×5×5的深度可分离卷积，Scalei代表第i中尺度的卷积核的大小，计算公式如下： 2将增强样本通过队列输入到视频异常行为识别模型MSFP-NET中,经MSFP-NET模型计算得到模型预测矩阵yt，计算公式如下： 式中，预测矩阵yt为n×s矩阵，s代表增强样本的标签种类；Conv1×1×1·代表1×1×1卷积，Conv3×3×3·代表3×3×3卷积，Conv7×7×7·代表7×7×7卷积； 3采用误差反向传播，并以交叉熵损失函数来衡量真实值与模型预测矩阵yt的距离，并计算训练损失Lt，Lt∈0，+∞，损失函数公式： 通过增强样本的每次训练，使用随机梯度下降函数SGD使得损失值Lt在MSFP-NET网络模型中反向传播，使得MSFP-NET第i轮训练的模型参数Pi向负梯度方向进行随机变化，使用SGD更新模型参数的计算公式如下： Pi＝Pi-1-η▽LPi-1 式中Pi代表AFG-NET第i轮训练的模型参数，式中Pi-1代表AFG-NET第i-1轮训练的模型参数，η代表SGD的优化步长，η∈0,1；▽LPi-1代表训练损失L对AFG-NET第i-1轮训练的模型参数Pi-1进行求导； 5计算当前训练轮次ei中AFG-NET模型识别准确率Acci，Acci∈0,1，并保存练轮次ei中AFG-NET模型Pi，ei代表当前第i轮训练轮次，ei∈1，em]；em为最大训练轮次，em∈N； 式中，TP为模型预测正样本正确的数量，TN为模型预测负样本正确的数量，FP为模型预测正样本错误的数量，FN为模型预测负样本错误的数量； 步骤4、构建学生网络AFG-NET，将训练样本X送入学生网络AFG-NET中进行训练，同时使用知识蒸馏技术，得到所有训练轮次中AFG-NET模型识别准确率Acc最优的网络参数Ps，具体步骤如下： 1构建视频异常行为识别模型AFG-NET，AFG-NET由AFG、miniMSFP、Inception和二维卷积构成，计算公式如下所示： AFG-NETX＝InceptionminiMSFPInceptionConv3×3Conv1×1Conv7×7AFGX 式中，Conv1×1·代表1×1卷积，Conv3×3·代表3×3卷积，Conv7×7·代表7×7卷积，AFG代表注意力特征门控层，AFG由全局池化GAP·和多信道特征稀疏化函数sp·组成，计算公式如下： AFGX＝GAPX×spX miniMSFP为小型多尺度融合块，miniMSFP由多尺度的平均池化和1×1卷积组合而成，计算公式如下： 式中GAP·代表全局池化，Conv1×1·代表核为1×1的卷积，N代miniMSFP的尺度数量，N＝3；APk×k·代表核为k×k的平均池化，k∈{3,5,7}； Inception代表多尺度特征提取块，Inception由3×3卷积Conv3×3·和1×1卷积Conv1×1·构成，计算公式如下： InceptionX＝ConcatConv1×1X，Conv3×3Conv1×1X，Conv3×3Conv1×1X 式中，ConcatX1，X2，X3代表将特征X1、X2、X3的矩阵特征进行顺序排列得到XCat，X1、X2、X3为n×c×f个w×h矩阵；XCat为n×c×3×f个w×h矩阵； 2将训练样本X，输入到AFG-NET网络模型中； 3AFG-NET网络模型中的AFG层对训练样本X进行全局特征计算，得到全局池化特征XGAP，全局池化特征XGAP为n×c矩阵，XGAP∈-1,1；计算公式如下： XGAP＝GAPX＝Xn×c·meanXf×w×h 式中GAP·代表对训练样本X的f、w、h维度进行全局池化，X代表训练样本，Xn×c为训练样本X的n、c维度形成的n×c矩阵；mean·代表取均值，Xf×w×h代表训练样本X的f、w、h维度形成的f个w×h矩阵； 4AFG-NET网络模型中的输入层AFG层对训练样本X进行多信道特征稀疏化，得到稀疏化特征XSP，疏化特征XSP为n×c个w×h矩阵的集合；计算公式如下： 式中X代表训练样本，sp·为多信道特征稀疏化函数，xi是训练样本X以第三个维度展开的f个信道的特征矩阵，特征矩阵xi为n×c个w×h矩阵；ai表示特征矩阵xi的抑制因子，ai的计算公如下： 式中λ为信道抑制比例，λ∈{10n},n∈{-3,-4,-5}；γi为多信道特征稀疏化函数sp·中第i个信道BN层的权重缩放比例，γi∈0,1；γi的计算公式如下： Conv1×1xi表示多信道特征稀疏化函数sp·中第i个信道BN层的输入，Conv1×1xi为n×c个w×h矩阵；BNxi表示函数sp·中第i个信道BN层的输出，BNxi为n×c个w×h矩阵；γi代表函数FX中第i个信道BN层缩放权重，γi∈0,1；βi代表函数sp·中第i个信道BN层偏置权重，βi∈0,1； 5使用全局池化特征XGAP中n×c个元素，与稀疏化特征XSP中n×c个w×h矩阵分别相乘，AFG层的输出矩阵输出矩阵为n×c个w×h矩阵；计算公式如下： 特殊符号⊙表示前一个矩阵的元素与后一个集合中的矩阵对应相乘； 6将AFG的输出送入AFG-NET中进行特征提取，并最终获得AFG-NET预测矩阵Xsout，预测矩阵Xsout为n×s矩阵，s代表训练样本X的标签种类； 7将步骤2中MSFP-NET准确率Acc最高的模型参数Pt，加载到教师模型MSFP-NET中，并使用模型参数为Pt的MSFP-NET对训练样本X进行预测，获得教师网络MSFP-NET的预测矩阵Xtout，Xtout为n×s矩阵，s代表训练样本X标签种类的数量； 8设置知识蒸馏温度参数τ，τ∈0,1将教师网络MSFP-NET的预测矩阵Xtout除以τ后送入Softmax函数中，得到软标签Yt，将学生网络AFG-NET的预测矩阵Xsout除以τ后送入Softmax函数中，得到软预测Ys，计算公式如下： 9将学生网络AFG-NET的输出特征Xsout除以τ后送入Softmax函数中，得到硬预测Y； Y＝SoftmaxXsout 10求取库贝克-莱布勒散度损失LKD，计算公式如下： 式中LKD为库贝克-莱布勒散度损失，Yt为软标签，Ys为软预测； 求取λinter作为内部稀疏因子，计算公式如下： 式中τ代表知识蒸馏温度参数，n为训练样本X中视频样本X′的数量，n∈N；dp·为皮尔逊相似度函数，s代表练样本X标签种类的数量， 将内部稀疏因子λinter和库贝克-莱布勒散度损失LKD相乘得到软损失Lsoft，计算公式如下： Lsoft＝λinter*LKD 11使用交叉熵损失函数作为代价函数，同时使用L1范数来对AFG的参数γ进行稀疏化，同样的求取硬标签和硬预测Y的距离Lhard，Lhard代表硬损失，硬损失Lhard的计算公式如下： 式中为交叉熵损失函数，λgγ是对多信道特征稀疏化函数sp·中BN层的尺度因子γ的稀疏性惩罚，λ为惩罚项缩放因子用于平衡这两项损失，λ∈{10n},n∈{-3,-4,-5}；g·为L1范数惩罚公式，计算如下： 式中，f表示多信道特征稀疏化函数sp·的信道数量，γi代表函数sp·中第i个信道BN层缩放权重；使用硬损失和软损失的加权求和作为蒸馏损失L，计算公式如下： L＝χLsoft+δLhard χ＝1-δ 式中χ为软损失平衡参数，χ∈0,1；δ为硬损失平衡参数，δ∈0,1；数据集的每次迭代，使用梯度下降来调整学生网络神经元之间的权重以降低代价函数，进而优化网络； 12通过训练样本X的每次训练，使用随机梯度下降函数SGD使得蒸馏损失L在AFG-NET网络模型中反向传播，使得AFG-NET第i轮训练的模型参数Pi向负梯度方向进行随机变化，进而优化网络，使用SGD更新模型参数的计算公式如下： Pi＝Pi-1-η▽LPi-1 式中Pi代表AFG-NET第i轮训练的模型参数，式中Pi-1代表AFG-NET第i-1轮训练的模型参数，η代表SGD的优化步长，η∈0,1；▽LPi-1代表训练损失L对AFG-NET第i-1轮训练的模型参数Pi-1进行求导； 13比较每个训练轮次的模型识别准确率Acci，并保存Acci最高的模型参数Pi，并作为部署参数Ps，计算如下： 步骤5、使用步骤4中保存的部署参数Ps作为AFG-NET模型的网络参数，并将网络参数为Ps的AFG-NET模型部署到识别终端上，同时终端对输入视频进行视频异常行为识别，最终得到视频异常行为识别结果y，y为正整数代表视频输入的异常行为类别，y∈[1，s]。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西南石油大学，其通讯地址为：610500 四川省成都市新都区新都大道8号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。