买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京科技大学申请的专利多种关联特征和图关系注意的多模态人格感知方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119323002B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411236190.7，技术领域涉及：G06F18/25；该发明授权多种关联特征和图关系注意的多模态人格感知方法及装置是由王荣全;马惠敏设计研发完成，并于2024-09-04向国家知识产权局提交的专利申请。

本多种关联特征和图关系注意的多模态人格感知方法及装置在说明书摘要公布了：本发明涉及计算机视觉领域，特别是指一种多种关联特征和图关系注意的多模态人格感知方法及装置。所述方法包括：获取待进行人格感知的输入视频；将输入视频输入到数据预处理模块，得到视觉模态输入、音频模态输入以及文本模态输入；将视觉模态输入、音频模态输入以及文本模态输入输入到模态特征提取网络模块，得到场景‑音频关联特征、场景‑描述词关联特征、音频‑描述词关联特征以及文本模态特征；将场景‑音频关联特征、场景‑描述词关联特征、音频‑描述词关联特征以及文本模态特征输入到特征融合模块，得到多模态融合特征；将多模态融合特征输入到感知预测模块，得到人格感知结果。本发明提出了一种多模态注意融合框架，用于人格感知。

本发明授权多种关联特征和图关系注意的多模态人格感知方法及装置在权利要求书中公布了：1.一种多种关联特征和图关系注意的多模态人格感知方法，其特征在于，所述方法包括： S1、获取待进行人格感知的输入视频； S2、将所述输入视频输入到数据预处理模块，得到视觉模态输入、音频模态输入以及文本模态输入； S3、将所述视觉模态输入、音频模态输入以及文本模态输入到模态特征提取网络模块，得到场景‑音频关联特征、场景‑描述词关联特征、音频‑描述词关联特征以及文本模态特征； S4、将所述场景‑音频关联特征、场景‑描述词关联特征、音频‑描述词关联特征以及文本模态特征输入到特征融合模块，得到多模态融合特征； S5、将所述多模态融合特征输入到感知预测模块，得到人格感知结果； 所述S3中的将所述视觉模态输入、音频模态输入以及文本模态输入到模态特征提取网络模块，得到场景‑音频关联特征、场景‑描述词关联特征、音频‑描述词关联特征以及文本模态特征，包括： S31、将所述视觉模态输入以及音频模态输入到场景‑音频关联特征提取模块，得到场景‑音频关联特征； S32、将所述视觉模态输入到场景‑描述词关联特征提取模块，得到场景‑描述词关联特征； S33、将所述音频模态输入到音频‑描述词关联特征提取模块，得到音频‑描述词关联特征； S34、将所述文本模态输入到Roberta模型，得到文本模态特征； 所述S31中的将所述视觉模态输入以及音频模态输入到场景‑音频关联特征提取模块，得到场景‑音频关联特征，包括： S311、对所述视觉模态输入，使用预训练的图像编码器提取得到场景图像特征，根据所述场景图像特征构建视觉关系图； S312、对所述音频模态输入进行预处理得到多个梅尔频谱图像，对所述多个梅尔频谱图像，通过预训练的音频编码器提取得到多个音频特征，根据所述多个音频特征构建音频关系图； S313、设计图关系注意网络，根据所述视觉关系图以及图关系注意网络，得到视觉关系图特征；根据所述音频关系图以及图关系注意网络，得到音频关系图特征； S314、将所述视觉关系图特征以及音频关系图特征进行拼接，进而得到场景‑音频关联特征； 所述S32中的将所述视觉模态输入到场景‑描述词关联特征提取模块，得到场景‑描述词关联特征，包括： S321、构建人格描述词列表； S322、根据所述人格描述词列表以及文本编码器，生成人格描述词嵌入； S323、根据所述视觉模态输入以及图像编码器，生成场景图像嵌入； S324、计算所述人格描述词嵌入和场景图像嵌入的点积，进而得到场景‑描述词关联特征； 所述S33中的将所述音频模态输入到音频‑描述词关联特征提取模块，得到音频‑描述词关联特征，包括： S331、根据人格描述词列表以及文本编码器，生成人格描述词嵌入； S332、根据所述音频模态输入以及预训练的音频编码器，生成音频嵌入； S333、计算所述人格描述词嵌入和音频嵌入的点积，进而得到音频‑描述词关联特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京科技大学，其通讯地址为：100083 北京市海淀区学院路30号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。