广州大学朱彤获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉广州大学申请的专利基于多模态情感语义自适应融合的图像美学质量评价方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120374621B 。
龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510864388.8,技术领域涉及:G06T7/00;该发明授权基于多模态情感语义自适应融合的图像美学质量评价方法是由朱彤;张健;苏文康;陈思远;段瑞;宋天舒;张正宇设计研发完成,并于2025-06-26向国家知识产权局提交的专利申请。
本基于多模态情感语义自适应融合的图像美学质量评价方法在说明书摘要公布了:本发明公开了一种基于多模态情感语义自适应融合的图像美学质量评价方法,该方法包括下述步骤:获取美学图像以及对应的评论文本;对美学图像提取不同层级的视觉特征,构建美学图像的多尺度特征序列;对评论文本提取字级、短语级、句子级的语义特征,构建文本的多尺度特征序列;基于多头注意力机制得到情感语义增强的视觉和文本美学特征,并融合得到不同尺度的融合特征,构建跨模态动态权重,基于尺度注意力机制将不同尺度的融合特征整合为美学表征;根据美学表征对美学图像的美学质量进行预测,输出美学评价预测结果。本发明能有效地动态利用跨模态情感语义信息,提升复杂场景下多模态交互的灵活性与准确性。
本发明授权基于多模态情感语义自适应融合的图像美学质量评价方法在权利要求书中公布了:1.一种基于多模态情感语义自适应融合的图像美学质量评价方法,其特征在于,包括下述步骤: 获取美学图像以及对应的评论文本; 对美学图像提取不同层级的视觉特征,构建美学图像的多尺度特征序列; 对评论文本提取字级、短语级、句子级的语义特征,构建文本的多尺度特征序列; 美学图像的多尺度特征序列经图像情感分类器输出每个尺度下的图像情感特征,基于多头注意力机制得到情感语义增强的视觉美学特征,具体包括: 对于每个尺度,将图像情感特征作为查询,将视觉特征同时作为键和值,计算第一注意力分数: ; 其中,表示第一注意力分数,表示图像情感特征,表示视觉特征,表示视觉特征的维度,表示函数,、、是训练过程中的可学习参数; 将第一注意力分数与视觉特征相乘得到加权后的特征,与原始的视觉特征进行残差连接,通过层归一化操作得到情感语义增强的视觉美学特征,具体表示为: ; 其中,表示层归一化操作,表示情感语义增强的视觉美学特征; 文本的多尺度特征序列经文本情感分类器输出每个尺度下的文本情感特征,基于多头注意力机制得到情感语义增强的文本美学特征,具体包括: 对于每个尺度,将文本情感特征作为查询,将语义特征同时作为键和值,计算第二注意力分数: ; 其中,表示第二注意力分数,表示函数,表示文本情感特征,表示语义特征,、、表示训练过程中的可学习参数,表示语义特征的维度; 将第二注意力分数与语义特征相乘得到加权后的特征,与原始的语义特征进行残差连接,通过层归一化操作得到情感语义增强的文本美学特征,具体表示为: ; 其中,表示层归一化操作,表示情感语义增强的文本美学特征; 基于门控机制融合情感语义增强的视觉美学特征和文本美学特征,得到不同尺度的融合特征,具体包括: 将情感语义增强的视觉美学特征和文本美学特征进行拼接,得到拼接后的特征向量,表示为: ; 其中,表示拼接后的特征向量,表示层归一化操作,表示多层感知器,表示拼接操作; 将拼接后的特征向量输入全连接层,基于Sigmoid激活函数将输出映射到[0,1]区间,得到门控信号,表示为: ; 其中、是训练过程中的可学习参数,表示sigmoid函数,表示在第尺度下门控的开关程度; 基于门控信号得到不同尺度的融合特征,表示为: ; 其中,表示第尺度下的融合特征; 构建跨模态动态权重,基于尺度注意力机制将不同尺度的融合特征整合为美学表征; 根据美学表征对美学图像的美学质量进行预测,输出美学评价预测结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人广州大学,其通讯地址为:510006 广东省广州市番禺区大学城外环西路230号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。