桂林电子科技大学江泽涛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉桂林电子科技大学申请的专利一种基于RDE-Net的低照度图像描述方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115294345B 。
龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210779763.5,技术领域涉及:G06V10/424;该发明授权一种基于RDE-Net的低照度图像描述方法是由江泽涛;朱文才设计研发完成,并于2022-07-04向国家知识产权局提交的专利申请。
本一种基于RDE-Net的低照度图像描述方法在说明书摘要公布了:本发明公开一种基于RDE‑Net的低照度图像描述方法,所述方法包括如下步骤:1对图像描述数据集进行处理和划分;2构造FEX网络从特征图中提取全局特征、区域特征和细节特征;3构造ENH网络利用细节特征强化区域特征,增强区域特征对细节的感知能力;4构造两阶段预测模块和CC模块共同对图像进行描述。这种方法中对经过细节强化的区域特征和由低照度目标检测器产生的对象类别词进行了利用,保证了在低照度下也能很好的区分相似的物体,不会产生混淆。
本发明授权一种基于RDE-Net的低照度图像描述方法在权利要求书中公布了:1.一种基于RDE-Net的低照度图像描述方法,其特征在于,包括如下步骤: 1对图像描述数据集进行处理和划分:过程为: 1-1采用COCO数据集,COCO数据集共计123287张图像,将这个数据集以8:2的比例分成两部分,其中80%为训练集,共98630张图片,20%为测试集,共25057张图片; 1-2采用现有的CycleGAN模型对数据集中的图片进行处理:降低图片的光照、将数据集中的正常照度图片转化为低照度图片,随后将图像大小统一缩放为256*256; 1-3采用现有的IA-YOLO模型对低照度图片进行目标检测,获得每张图片中对象的类别和对应的位置,对象的类别表现为类别单词,即对象类别文本信息,位置表现为边界框坐标; 2构造FEX网络特征图中提取全局特征、区域特征和细节特征:过程为: 2-1FEX网络中设有针对三张特征图的映射操作和三个模块的调用,将步骤1-3中取得的边界框等比缩小,获得在三个特征图中的对应位置,三个特征图为IA-YOLO中送入检测头的三个特征图,分别记为C3、C4、C5,然后对于每个边界框,选择生成其坐标时采用的那一个特征图,采用映射的方式取得区域特征子图,随后调用RFE模块、DFE模块、GEX模块; 2-2将区域特征子图输入RFE模块、DFE模块,将C3、C4、C5输入GEX模块,RFE模块和DFE模块从区域特征子图中提取区域特征向量和细节特征向量,GEX模块从特征图中提取全局特征向量,GEX模块、RFE模块、DFE模块的输出均为512维的特征向量; 3构造ENH网络依据细节特征强化区域特征:过程为: 3-1ENH网络中设有SIMCAL模块和RFEN模块,对于网络的输入,先调用SIMCAL模块,再调用RFEN模块,调用SIMCAL模块时将区域特征与细节特征送入其中进行权重计算,输出为有效权重和相似度权重; 3-2将区域特征、细节特征和SIMCAL模块的输出共同送入RFEN模块,依据细节特征增强区域特征对细节的感知能力; 4构造两阶段预测模块和CC模块,共同对图像进行描述:过程为: 4-1采用步骤2-2中取得的区域特征和步骤2-2中取得的全局特征进行第一阶段描述,即将二者共同送入一个Transformer结构中,记为Tr-s1,Tr-s1中设有编码器和解码器,编码器和解码器内分别设置三个编码层和三个解码层,Tr-s1的输出为最后一个编码层产生的经过自注意力运算的全局特征向量和最后一个解码层产生的计算结果,分别记为Fg'和Fh; 4-2设置一个线性层接收步骤4-1中得到的Fh,随后接一个softmax函数,输出为词表中每个单词的概率,每个时间步选择概率最大的一个单词作为结果,采用交叉熵损失作为损失函数,记为其中y1:c-1表示已经预测出的前c-1个单词,yc表示准备预测的第c个单词,Pv表示概率; 4-3将步骤1-3中得到的对象类别文本信息进行编码,每个单词对应一个512维词向量,再依据词向量构成词矩阵,记为E,E中每一列代表一个单词的词向量; 4-4第二阶段描述同样采用Transformer结构进行,记为Tr-s2,将步骤4-3中得到的词矩阵E和步骤4-1中得到的第一阶段计算结果Fh送入Tr-s2中,经过编码和解码后取得第二阶段计算结果,将第二阶段计算结果送入步骤4-2中训练的线性层,其结果送入softmax函数后获得第二阶段预测的单词概率,记为Fth; 4-5在Tr-2中解码器的每个解码层后均设置一个CC模块,三个解码层后均需要设置CC模块,最后会得到三组复制概率,将三组概率求平均后作为最终的复制概率; 4-6对CC模块和第二次描述的结果进行处理,产生当前时间步最终的预测结果,即将步骤4-4中取得的第二阶段单词预测概率和步骤4-5中取得的单词复制概率拼接,而后从中选择最高概率的单词作为当前时间步的预测结果,采用交叉熵损失作为损失函数,记为其中y1:c-1表示已经预测出的前c-1个单词,yc表示准备预测的第c个单词,Ptg表示概率; 4-7整体模型在训练过程中,最终进行训练的损失函数为两个阶段损失函数之和,损失函数的公式如1所示: 其中y1:c-1表示已经预测出的前c-1个单词,yc表示准备预测的第c个单词,Pv表示步骤4-2中预测的概率,Ptg表示步骤4-6中预测的概率。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人桂林电子科技大学,其通讯地址为:541004 广西壮族自治区桂林市七星区金鸡路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励