买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种视听辅助的细粒度触觉信号重建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115905838B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211446581.2，技术领域涉及：G06F18/213；该发明授权一种视听辅助的细粒度触觉信号重建方法是由魏昕;杨镇宇;王浩宇;石莹莹;周亮设计研发完成，并于2022-11-18向国家知识产权局提交的专利申请。

本一种视听辅助的细粒度触觉信号重建方法在说明书摘要公布了：本发明公开了一种视听辅助的细粒度触觉信号重建方法，首先将用于训练的触觉信号通过触觉自编码器，基于聚类任务提取触觉特征，并将该特征迁移至音频、图像特征提取网络中，实现针对音频、图像信号的特征提取；接着，利用三元组约束对触觉、音频、图像多模态融合映射函数进行优化，从而由提取出的音频、图像特征得到融合特征，最后将融合特征输入到触觉生成网络之中，实现细粒度触觉信号的重建；本发明很好地解决了多模态信号之间所存在弱监督和弱配对的问题，实现了跨模态共享语义学习，在保证了所生成的触觉信号结构以及语义完整性的同时还加强了其聚类特性，从而使得触觉信号的重建质量得到显著提升。

本发明授权一种视听辅助的细粒度触觉信号重建方法在权利要求书中公布了：1.一种视听辅助的细粒度触觉信号重建方法，其特征在于，包括以下步骤： 将触觉信号输入触觉自编码器，并通过聚类任务，对触觉信号进行特征提取； 通过跨模态迁移学习方法，将触觉自编码器的特征提取能力迁移到音频特征提取网络和图像特征提取网络，并进行优化； 通过联合考虑聚类约束、中心约束、排序约束对所提取的触觉、音频、图像模态特征进行约束，使属于同一语义的各模态特征靠近，而不属于同一语义的各模态特征分离，获得具有细粒度分类的触觉、音频和图像模态特征，包括：对三种模态信号进行中心约束下的聚类学习，用于保证同一个细粒度子类别特征之间的紧凑性；为了实现更好的细粒度的分类性能，同一子类的特征在公共空间中应该是相邻的，这是为了最小化类内方差；通过最小化特征到其子类中心的距离来驱动聚类学习；其中以触觉信号的子类中心作为跨模态信号的公共子类中心，从而保证同类别的跨模态信号语义特征之间的紧凑性；对三种模态信号进行排序约束下的聚类学习，用于保证不同细粒度子类别特征具备一定的稀疏性；中心约束的目标是使类内方差最小化，而排序约束的目标则是使类间方差最大化，从而使得不同子类别的特征输出比相同子类别的特征输出更不相似； 中心约束下的聚类学习的损失函数定义如下： ； 其中，N为触觉、音频和图像信号的数目；、和分别表示触觉信号、音频信号和图像信号的类别；音频信号和图像信号共用触觉信号的聚类中心向量矩阵；通过上述过程，使具有相似语义的各模态特征，和相互接近； 排序约束的定义如下： ； 其中，是触觉信号经过K-means算法聚类之后的总类别数；通过上述过程，使具有相似语义的各模态特征，和进一步接近，而使得具有不同语义的各模态特征尽可能分离； 基于触觉、音频和图像模态特征构建三元组集合，进行三元组约束的共享语义学习，对多模态融合映射函数进行优化，得到包含共享语义信息的融合特征； 预置触觉生成网络，将融合特征输入触觉生成网络重建触觉信号。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210033 江苏省南京市栖霞区广月路30-06号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。