南京邮电大学魏昕获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京邮电大学申请的专利一种应对多变场景的跨模态信源信道联合编解码方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119011844B 。
龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411075764.7,技术领域涉及:H04N19/154;该发明授权一种应对多变场景的跨模态信源信道联合编解码方法是由魏昕;杨镇宇;张喆;周亮;刘潇设计研发完成,并于2024-08-07向国家知识产权局提交的专利申请。
本一种应对多变场景的跨模态信源信道联合编解码方法在说明书摘要公布了:本发明公开了一种应对多变场景的跨模态信源信道联合编解码方法,涉及跨模态图像信号重建技术领域,包括:首先设计于Transformer编码器的跨模态信道编解码优化方案,实现信道编码器与信道解码器的性能提升与鲁棒性。其次设计基于隐扩散模型的触觉‑图像生成的跨模态信源编解码优化方案,实现图像信号丢失场景下,利用触觉信息指导图像生成;最后引入迁移学习技术,降低了系统面对多变跨模态通信场景例如多变信道信噪比,不同传输任务等导致的额外训练成本。本发明提供的信源信道联合编解码方法能够在跨模态通信多变场景下解决了接收端无法很好完成图像重建以及多变信道环境和场景导致的额外模型训练成本。
本发明授权一种应对多变场景的跨模态信源信道联合编解码方法在权利要求书中公布了:1.一种应对多变场景的跨模态信源信道联合编解码方法,其特征在于,包括: 针对图像信号与触觉信号同时传输的场景,基于跨模态信源编码器最大化系统容量并最小化语义错误; 考虑跨模态通信下图像信号丢失的场景,设计基于隐扩散模型的触觉-图像生成的跨模态信源编解码优化方案; 针对不同的通信任务和信道环境,采用迁移学习优化模型的泛化能力,并加速模型的训练过程; 所述跨模态信源编码器包括触觉特征提取模块、图像特征提取模块以及模态融合模块; 所述触觉特征提取模块与所述图像特征提取模块在各个模态内部提取特征; 当分别获得图像和触觉信号的特征后,沿着通道维度拼接在一起,并输入到模态融合模块进行融合,通过分类任务进行训练,损失函数表示为, 其中,表示分别经过触觉特征提取网络图像特征提取以及模态融合输出的图像特征,触觉特征以及融合特征,yj表示对象的标签,分别表示触觉特征提取网络图像特征提取模态融合以及跨模态信源编码器集成网络的参数; 通过跨模态信源解码器在接收端,需要从融合特征中重建出相应的图像信号; 采用Wasserstein生成对抗网络实现图像重建,鉴别器D采用PatchGAN的设计; 生成器G将融合特征生成为图像鉴别器D负责区分真实图像v和生成的图像训练过程为D和G对抗的过程,损失函数表示为, 其中, 所述跨模态信源编解码优化方案包括将图像信号由像素域映射到特征域; 对于一个给定在像素域中的图像利用编码器将x编码为隐变量特征利用解码器从特征空间中重建图像,表示为, 其中,z∈Rh×w×c。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京邮电大学,其通讯地址为:210000 江苏省南京市栖霞区文苑路9号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励