买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种基于多模态特征的视频实体关系及交互识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113936236B 。

龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111116334.1，技术领域涉及：G06V20/40；该发明授权一种基于多模态特征的视频实体关系及交互识别方法是由任桐炜;武港山;张贝贝;于凡;高妍欣设计研发完成，并于2021-09-23向国家知识产权局提交的专利申请。

本一种基于多模态特征的视频实体关系及交互识别方法在说明书摘要公布了：一种基于多模态特征的视频实体关系及交互识别方法，对影片中实体之间的交互进行预测识别：对影片根据场景划分为中片段，对中片段分别向上聚合为长片段，向下分割为短片段，对于每个中片段，将提取的实体特征、实体对特征、视频片段特征、音频特征和文字特征进行拼接作为该片段的融合特征，取平均作为长片段的特征预测长片段中的实体关系，并将该平均特征连接到每一个中片段特征，用于预测对应的中片段中的实体之间的互动，实体关系和实体互动同时进行预测，并联合训练对应的识别网络。本发明将长视频分为三种长度的视频，对长片段预测实体关系，对中片段预测实体交互和场景状态，对短片段预测实体交互，构建出实体关系图和互动图。

本发明授权一种基于多模态特征的视频实体关系及交互识别方法在权利要求书中公布了：1.一种基于多模态特征的视频实体关系及交互识别方法，其特征是对影片利用识别、跟踪手段提取出视觉特征，结合音频和台词特征，对影片中实体之间的交互进行预测识别：对影片根据场景划分为中等长度视频片段，称为中片段，首先根据场景、视觉和声音模型对中片段分别向上聚合为长片段，以及根据场景的镜头向下分割为短片段，同时根据指定的人物截图和场景截图对中、短片段中的人物和场景进行识别和跟踪，提取中片段中对应的实体特征，对中片段中同时出现的两个实体提取实体对特征，并导出对应中片段的音频和文字特征，对于每个中片段，将提取的实体特征、实体对特征、视频片段特征、音频特征和文字特征进行拼接作为该片段的融合特征，然后将构成一个长片段的多个中片段的特征取平均，作为长片段的特征预测长片段中的实体关系，并将该平均特征连接到每一个中片段特征，用于预测对应的中片段中的实体之间的互动，实体关系和实体互动同时进行预测，并联合训练对应的识别网络； 由短片段直接预测人物的互动，用于提供中片段实体互动的时序； 对长片段的视频、音频和文字特征进行拼接，组成场景特征，再根据已知的场景标签，训练用来预测该视频的场景信息的模型； 建立识别网络用于识别视频中的实体关系图、实体交互图以及场景信息，识别网络的输入包括待识别影片的中片段，以及指定的场景截图、场景名称、人物截图及对应的人物名称，输出为对应场景和人物间的关系图、互动图以及相应的场景信息；使用多模态特征联合训练识别网络，包括以下步骤： 1基于多模态特征，将输入的中片段语义聚合为长片段，同时根据场景的镜头分割为多个短片段，每个短片段对应一个场景的镜头； 2根据给定的场景截图，在步骤1得到的每个短中长片段中采用SURF特征匹配将场景截图与帧进行匹配，选取匹配点总数最高的场景为视频段所对应的场景，场景的轨迹在时间上为整个片段，在空间上是片段中每个帧的画面区域； 3根据给定的人物截图，在步骤1得到的每个短中长片段中采用人体跟踪方法和人脸检测识别方法进行人物的识别和跟踪，并且通过SURF特征匹配将人物截图与帧进行匹配作为人脸识别的补充，得到人物实体包围框及其在幕中的轨迹； 4对步骤1得到的每个短中长片段进行平均采样得到一组关键帧，然后输入预训练的C3D网络计算得到视频特征； 5在步骤1得到的每个短中长片段中对音频提取梅尔频率倒谱系数MFCC和对数梅尔能量LMFE特征，并计算MFCC特征和LMFE特征的一阶差分和二阶差分，得到声音特征； 6对输入视频自动生成字幕，并根据时间轴对应到步骤1得到的每个短中长片段中，采用BERT网络生成幕的文字特征； 7根据步骤2和步骤3中的场景轨迹和人物实体包围框轨迹通过预训练的C3D网络计算实体的视觉特征，得到实体特征，并根据每两个实体的联合包围框轨迹同样计算实体对的视觉特征，得到实体对特征； 8对中片段中的每个实体对相关的视频特征、声音特征、文字特征、实体的视觉特征和实体对的视觉特征连接起来作为该实体对的互动特征； 9将组成一个长片段的所有中片段中的同一实体对通过8获得的所有互动特征取平均，作为该实体对的关系特征，然后该实体对的关系特征与每一个互动特征连接作为最终的互动特征； 10对中片段的视频特征、声音特征、文字特征连接起来作为该中片段的场景特征； 11将8、9和10得到的关系特征、互动特征和场景特征转换到语义空间，结合由BERT模型对关系谓语、互动谓语和场景状态生成的语义特征，通过小样本学习结合零样本学习的方式，进行同时预测，联合学习长片段上该实体对之间的关系和中片段上该实体对之间的互动关系以及中片段的场景状态； 12根据步骤11预测的实体关系互动场景状态，取与预定义的关系类别互动类别场景状态类别相似性度量大于0的为关系互动场景状态候选，构建初步的实体关系图和互动图，以及场景状态图； 13在步骤12的基础上，根据实体的类型、名称、关系的类型调整关系预测概率，补充实体间的关系； 14根据步骤13构建的长片段实体关系图填充视频知识图，得到整个视频上的实体关系图，用于回答实体之间的关系和查找两个实体之间的关系路径；再根据步骤12构建的实体互动图和场景状态图，得到中片段上的实体互动情况以及场景状态，直接回答实体之间的互动问题以及场景识别问题； 15对短视频段中的每个实体对相关的视频特征、声音特征、文字特征、实体的视觉特征和实体对的视觉特征连接起来作为该实体对的互动特征； 16将15得到的互动特征转换到语义空间，结合由BERT模型对互动谓语生成的语义特征，通过小样本学习结合零样本学习的方式，预测短视频段上该实体对之间的互动关系； 17根据步骤16预测的实体互动，仿照步骤12和13得到最后的短视频段实体互动图，将组成同一个中片段的所有短视频段中的实体互动按时间先后进行排序，用于回答实体互动顺序问题。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210093 江苏省南京市鼓楼区汉口路22号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。