买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利融合局部和全局图像特征的多模态图像美学质量评价方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116012300B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211554654.X，技术领域涉及：G06T7/00；该发明授权融合局部和全局图像特征的多模态图像美学质量评价方法是由牛玉贞;陈珊珊;李悦洲设计研发完成，并于2022-12-05向国家知识产权局提交的专利申请。

本融合局部和全局图像特征的多模态图像美学质量评价方法在说明书摘要公布了：本发明涉及融合局部和全局图像特征的多模态图像美学质量评价方法，包括以下步骤：步骤S1：将美学图像数据集中的数据进行数据预处理，得到美学图像以及文本编码矩阵，并将数据集划分为训练集与测试集；步骤S2：设计融合局部特征和全局特征的图像特征提取子网络；步骤S3：设计文本特征提取子网络；步骤S4：设计融合局部和全局图像特征的多模态图像美学质量评价网络；步骤S5：将测试图像输入到训练好的融合局部和全局图像特征的多模态图像美学质量评分分布预测模型中。该算法能进行图像美学评分分布预测，提高图像美学质量评价算法的性能。

本发明授权融合局部和全局图像特征的多模态图像美学质量评价方法在权利要求书中公布了：1.融合局部和全局图像特征的多模态图像美学质量评价方法，其特征在于，包括以下步骤： 步骤S1：将美学图像数据集中的数据进行数据预处理，处理后得到固定尺寸的美学图像以及其所对应评论的文本编码矩阵，并将数据集划分为训练集与测试集； 步骤S2：设计融合局部特征和全局特征的图像特征提取子网络； 步骤S3：设计文本特征提取子网络； 步骤S4：设计融合局部和全局图像特征的多模态图像美学质量评价网络，使用所设计的网络训练融合局部和全局图像特征的多模态图像美学质量评分分布预测模型； 步骤S5：将测试图像输入到训练好的融合局部和全局图像特征的多模态图像美学质量评分分布预测模型中，输出对应的图像美学评分分布，最后计算美学评分分布的平均值作为图像美学质量分数； 步骤4包括：步骤S44：设计融合局部和全局图像特征的多模态图像美学质量评价网络的损失函数，具体公式如下： 其中，和yi分别表示融合局部和全局图像特征的多模态图像美学质量评价网络预测的评分分布和标签的真实分布中美学评分为第i个取值时对应的概率，i对应美学评分取值1，2，…，N，其中N是数据集中评分取值的个数； 所述步骤S2中，设计融合局部特征和全局特征的图像特征提取子网络；包括以下步骤： 步骤S21：设融合局部特征和全局特征的图像特征提取子网络的输入图像为Iin，其维度为3×H×W，H和W分别为图像的高度和宽度；去除预训的ResNet50网络的最后一层，修改后的网络用于提取输入图像Iin的局部特征；对于该网络后四个阶段的输出特征，第i个阶段的输出特征记为 维度为其中和分别为特征的通道数，高度和宽度；接着特征经过1×1卷积进行降维，降维后的维度为其中c为降维后的通道数，降维后的特征与随机初始化的位置特征相加得到特征和的维度均为然后经过Reshape操作进行维度调整得到特征的维度为其中具体计算公式如下： 其中，i＝1,2,3,4；Conv1×1·表示1×1卷积，+表示矩阵加法运算，Reshape·表示维度调整操作； 步骤S22：将与步骤S21相同的输入图像Iin，维度为3×H×W；经过32×32卷积进行下采样，下采样后与随机初始化位置特征PG相加得到特征PG和的维度均为c×h×w，其中然后经过Reshape操作进行维度调整得到特征其维度为c×sG，其中sG＝h×w；具体计算公式如下： 其中，Conv32×32·表示32×32卷积，+表示矩阵加法运算，Reshape·表示维度调整操作； 步骤S23：构建自编码器SEncoder，其由多头自注意力、层归一化和全连接层组成；设自编码器的输入特征为x，其维度为c×s，首先输入到多头自注意力，多头自注意力的输出与x相加，并对其进行层归一化，记为得到自编码器中间输出特征x′，之后输入两层全连接层中，记为MLPs·，两层全连接层的输出再与x′相加，并对其进行层归一化，记为最后得到输出特征x”，其维度仍为c×s； 自编码器SEncoder的公式为x”＝SEncoderx，其中SEncoder·表示自编码器的计算，具体计算公式如下： 其中，MHSA·表示多头自注意力，+表示矩阵加法运算； 步骤S24：构建交叉编码器CEncoder，其由多头交叉注意力、层归一化和全连接层组成；设输入交叉编码器的特征为q和k，q和k的维度均为c×s，首先输入到多头交叉注意力，多头交叉注意力的输出与q相加，并对其进行层归一化，记为得到交叉编码器中间输出特征z，之后输入两层全连接层中，记为MLPc·，两层全连接层的输出再与z相加，并对其进行层归一化，记为最后得到输出特征z′，其维度为c×s； 交叉编码器CEncoder的公式为z′＝CEncoderq,k，其中CEncoder·,·表示交叉编码器的计算，具体计算公式如下： 其中，MHCA·,·表示多头交叉注意力，+表示矩阵加法运算； 步骤S25：经过步骤S22的输出特征输入到步骤S23构建的自编码器，得到图像全局特征具体计算公式如下： 其中，SEncoder·表示自编码器； 步骤S26：以经过步骤S21的特征维度为和经过步骤S25的图像全局特征维度为c×sG，以及中间过程输出特征作为步骤S24构建的交叉编码器的输入；具体来说，第一，将和输入到交叉编码器CEncoder1，得到特征其维度为第二，将和输入到交叉编码器CEncoder2，得到特征其维度为c×sG；第三，将和输入到交叉编码器CEncoder3，得到特征其维度为第四，将和输入到交叉编码器CEncoder4，得到特征其维度为c×sG；第五，将和输入到交叉编码器CEncoder5，得到特征其维度为第六，将和输入到交叉编码器CEncoder6，得到特征其维度为c×sG；第七，将和输入到交叉编码器CEncoder7，得到最终的图像融合特征其维度为具体计算公式如下： 其中，CEncoder1、CEncoder2、…、CEncoder7均为步骤S24构建的交叉编码器。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。