买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉平阳县昌泰电力实业有限公司申请的专利基于多源数据融合学习的违规行为识别与检测方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119723681B 。

龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510234875.6，技术领域涉及：G06V40/20；该发明授权基于多源数据融合学习的违规行为识别与检测方法及系统是由林刚;杨丽;叶建锚设计研发完成，并于2025-02-28向国家知识产权局提交的专利申请。

本基于多源数据融合学习的违规行为识别与检测方法及系统在说明书摘要公布了：本发明涉及基于多源数据融合学习的违规行为识别与检测方法及系统，属于异常检测技术领域。步骤包括：（1）针对输入的视频信息，使用视频内容描述生成模块，生成对视频内容的整体文本描述；（2）针对输入视频、视频关键图片和视频描述文本进行多源多模态信息融合；（3）计算不同梯度组合的帕累托最优，使用该组合梯度更新整个模型。本发明通过将输入视频的多模态信息进行提取与融合，提升了模型在视频中提取人物行为的语义信息的能力，从而大大增强了模型识别与检测违规行为的性能。

本发明授权基于多源数据融合学习的违规行为识别与检测方法及系统在权利要求书中公布了：1.一种基于多源数据融合学习的违规行为识别与检测方法，其特征在于，步骤如下： 1针对输入的视频信息，使用视频内容描述生成模块，生成对视频内容的整体文本描述； 2针对输入视频、视频关键图片和视频描述文本进行多源多模态信息融合； S21：基于输入的视频片段v、视频关键图片i和文本描述t，分别使用对应的编码器生成单模态表征： fv＝VideoEncoderv fi＝ImageEncoderi ft＝TextEncodert 其中，fv、fi和ft分别是经过视频编码器、图片编码器与文本编码器得到的视频、图片与文本特征； S22：将得到的三种单模态表征进行两两组合，输入到多模态特征融合网络，多模态特征融合网络由自注意力层、交叉注意力层与前馈网络层组成，具体来说，对于任意模态表征f1与f2，首先分别通过自注意力层编码，f1自注意力层编码过程为： Q1＝WQf1 K1＝WKf1 V1＝WVf1 其中，WQ、WK与WV为可学习的权重矩阵，Q1、K1和V1分别是自注意力层中的查询变量、键变量与值变量； 输出的自注意力特征为： 同理得到f2的自注意力特征O2，将O1作为交叉注意力层的查询，O2作为交叉注意力的键与值，计算交叉注意力值Oc： Q＝WQO1 K＝WKO2 V＝WVO2 其中，WQ、WK与WV为可学习的权重矩阵，Q、K和V分别是交叉注意力层中的查询变量、键变量与值变量； S23:交叉注意力层的结果经过前馈网络层，得到最后的多模态融合特征输出： O＝LinearOc 其中，Linear是前馈网络层； 3计算不同梯度组合的帕累托最优，使用该组合梯度更新整个模型； S31:对于任意成对多模态融合特征O，采用前馈网络层将其映射到预测动作类别分布 其中，Linear是前馈网络层； S32:使用交叉熵损失计算人物动作识别结果与标准答案之间的差距，交叉熵损失定义为： 其中，C为定义的总动作数，是特征经过映射层后的预测动作类别，yi是真实动作类别的独热形式，交叉熵损失函数通过最小化预测动作类别分布与真实动作类别分布的差距，优化网络参数； S33:根据步骤S32中的损失计算方法，计算出基于不同模态特征两两组合得到的损失，记不同双模态融合特征得到的损失为Li，多模态特征融合网络的参数为θ，定义三种损失的最小凸包问题的损失函数： 使用FrankWolfeSolver解法，求解出上述最小凸包问题的解： α1,α2,α3＝FRANKWOLFESOLVERθ 其中，α1，α2，α3是三种损失的梯度的更新权重； S34:针对三种损失引起的梯度变化，分别乘上求解的权重，更新多模态特征融合网络： 其中，μ是网络的学习率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人平阳县昌泰电力实业有限公司，其通讯地址为：325401 浙江省温州市平阳县鳌江镇通莲路339号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。