买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种融合知识图谱的跨模态情感分析方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116861367B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310909452.0，技术领域涉及：G06F18/25；该发明授权一种融合知识图谱的跨模态情感分析方法和装置是由陈华钧;黄雨峰;陈卓;张文设计研发完成，并于2023-07-24向国家知识产权局提交的专利申请。

本一种融合知识图谱的跨模态情感分析方法和装置在说明书摘要公布了：本发明公开了一种融合知识图谱的跨模态情感分析方法和装置，包括以下步骤：采用预训练模型从图像中提取文本形式的图像字幕和图像层面的第一多模态知识图谱；从描述文本中提取需要情感分析的目标主体，并为目标主体构建掩码模板；通过预训练模型将描述文本转换成文本层面的知识图谱；通过实体节点对齐的方式将第一多模态知识图谱和知识图谱扩展成传递图像和文本联系的第二多模态知识图谱；将第二多模态知识图谱中的三元组进行序列化展平得到序列化三元组，并采用可视化矩阵对序列化三元组进行结构信息的补充；利用包括编码器、解码器以及全连接层的情感分析模型进行情感分析。该方法和装置使得在多模态情感分类任务中取得了更好的表现。

本发明授权一种融合知识图谱的跨模态情感分析方法和装置在权利要求书中公布了：1.一种融合知识图谱的跨模态情感分析方法，其特征在于，包括以下步骤： 采用预训练模型从图像中提取文本形式的图像字幕和图像层面的第一多模态知识图谱； 从描述文本中提取需要情感分析的目标主体，并为目标主体构建掩码模板； 通过预训练模型将描述文本转换成文本层面的知识图谱； 通过实体节点对齐的方式将第一多模态知识图谱和知识图谱扩展成传递图像和文本联系的第二多模态知识图谱，包括：当第一多模态知识图谱和知识图谱中的两节点的文本语义相似度大于设定阈值，则将两个节点合并为1个新节点，从而得到传递图像和文本联系的多模态知识图谱； 将第二多模态知识图谱中的三元组进行序列化展平得到序列化三元组，包括：将每个三元组的头实体、关系、尾实体用逗号连接的方式拼成一个文本序列形式的序列化三元组，不同三元组之间用特殊标志位“ts”分隔，对于第二多模态知识图谱中的子图像，用特殊标志位“img”表示； 采用可视化矩阵对序列化三元组进行结构信息的补充，其中可视化矩阵通过定义序列化三元组中元素之间的相关性，实现结构化信息的补充；定义规则为：输入编码器的序列化三元组中，同一个三元组中的元素彼此可见，各个三元组中的共享实体彼此可见，而其余的三元组不可见；输入编码器中的描述文本、图像字幕以及其他特殊标记应彼此可见； 利用包括编码器、解码器以及全连接层的情感分析模型进行情感分析，具体为：编码器结合可视化矩阵编码序列化三元组、描述文本以及图像字幕以得到输出特征，解码器依据编码器的输出特征和掩码模板来解码掩码位置表示，全连接层对掩码位置表示进行连接映射得到主体情感表示，用公式表示为： py∣∣H[m]＝softmaxθLinearDropoutH[m] 其中，H[m]表示掩码位置“mask”的特征向量表示，θLinearDropout·表示可学习的非线性层，softmax·表示激活函数，py∣∣H[m]表示基于H[m]预测情感分类标签y的概率分布。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。