买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种面向跨模态通信的图像超分辨率重建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115936997B 。

龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310011043.9，技术领域涉及：G06T3/4053；该发明授权一种面向跨模态通信的图像超分辨率重建方法是由周亮;刘恒发;魏昕;高赟设计研发完成，并于2023-01-05向国家知识产权局提交的专利申请。

本一种面向跨模态通信的图像超分辨率重建方法在说明书摘要公布了：本发明属于视觉信号的超分辨率重建技术领域，公开了一种面向跨模态通信的图像超分辨率重建方法，首先在发送端仅传输低分辨率视觉信号和相应的触觉信号，而后通过模态内鉴别性和模态间相关性的学习弥补不同模态间存在的语义鸿沟，通过信道传输后，在接收端通过有效的特征融合方式实现互补性的学习，最后利用得到的融合特征去生成所需的高分辨率视觉信号。本发明很好地解决了在多模态服务中存在的因带宽受限和多模态信号间的竞争导致的视觉质量下降，最终影响用户体验的问题，实现了跨模态信号一致性、互补性的学习，保证了在有限带宽下，接收端高分辨率视觉信号的获取，提升用户的沉浸式体验。

本发明授权一种面向跨模态通信的图像超分辨率重建方法在权利要求书中公布了：1.一种面向跨模态通信的图像超分辨率重建方法，其特征在于：所述图像超分辨率重建方法包括以下步骤： 步骤1、利用完整的高分辨率视觉信号，进行高分辨率视觉信号的编码和解码，通过编码步骤训练高分辨率视觉信号的编码网络，并得到高分辨率视觉信号的编码特征，通过解码步骤训练高分辨率视觉信号的解码网络，用于为之后的视觉信号超分辨率重建模型提供支撑； 步骤2、设计一个触觉辅助的视觉信号超分辨率重建HaSR模型；超分辨率重建HaSR模型为： 从终端采集到视觉信号和触觉信号之后，在边缘节点对视觉信号进行下采样从而得到低分辨率视觉信号，利用预训练的广泛使用的编码网络对低分辨率视觉信号和相应的触觉信号进行初步的特征提取； 利用模态内的鉴别性和模态间的一致性，通过映射网络来降低模态间的差异，挖掘不同模态的相关性来弥补模态间的语义鸿沟，从而基于编码提取的初步特征得到具有语义鉴别和语义关联的映射特征，而后将得到的映射特征经过归一化之后通过信道模型，从而用于下一步的特征融合； 根据低分视觉信号的映射特征和触觉信号的映射特征以及获得的高分辨率视觉信号的编码特征，结合生成对抗网络强大的数据拟合能力，得到融合特征； 最后，将得到的融合特征输入高分辨率视觉信号的生成网络，实现高分辨率视觉信号的重建； 步骤3、利用模型优化算法对步骤2设计的HaSR模型进行训练，最终得到最优的模型参数，用于之后的测试阶段； 步骤4、将待测的成对的低分辨率视觉信号和触觉信号输入最优的HaSR模型，最优的HaSR模型用于提取低分辨率视觉信号和相应的触觉信号的特征并进行融合，利用融合后的特征生成所需的高分辨率视觉信号， 其中，步骤1具体包括如下步骤： 步骤1-1：对于训练数据集其包含配对的触觉、低分辨视觉信号和高分辨率视觉信号，N为配对的视觉信号和触觉信号的数量，di＝{hi,li,ti}分别代表高分辨率视觉信号、低分辨率视觉信号和对应的触觉信号，将第i个高分辨率视觉信号hi输入高分辨率视觉信号的编码网络，提取视觉信号的编码特征zh； 步骤1-2：把得到的高分辨率视觉信号的编码特征zh输入到由生成对抗网络构成的高分辨率视觉信号的解码器中，而后把解码器重建的高分辨率视觉信号输入高分辨率视觉信号的鉴别器中，通过联合训练编码器和解码器，并用重构损失和鉴别损失来优化，最终学习到高分辨率视觉信号的编码特征，以及对应的解码网络，定义的损失函数为： Lpre＝Lrec+αLpre-adv 其中α是一个系数，用来调整不同损失的比例，第一项损失是重构损失： 其中C,H,W是高分辨率视觉信号的尺寸，Gh代表相应的高分辨率视觉信号的解码网络，代表相应的编码网络得到的高分辨率视觉信号的编码特征，||·||1代表相应的L1范数，第二项是生成对抗网络的损失，具体的损失函数为： 其中E*表示分布函数的期望值,pzh表示高分图像编码特征的分布，ph代表真实高分辨率图像的分布,Dh代表相应的高分辨率视觉信号的鉴别网络，用来完成对重建的高分辨率视觉信号的判断，θgh和θdh分别代表相应的高分辨率视觉信号的生成器和鉴别器的参数，通过最小化Lpre得到最优的高分辨率视觉信号的编码网络以及对应的高分辨率视觉信号的编码特征，对应的解码网络和相应的高分辨视觉信号的鉴别网络。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市鼓楼区新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。