买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湘江实验室申请的专利基于节点多关联图信息融合的GNN-LSTM中文唇语分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120526486B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511014893.X，技术领域涉及：G06V40/20；该发明授权基于节点多关联图信息融合的GNN-LSTM中文唇语分类方法是由陈洁;陈越;李世玲;潘卓夫;侯海良;盛琦;余思佳;陈贝宁设计研发完成，并于2025-07-23向国家知识产权局提交的专利申请。

本基于节点多关联图信息融合的GNN-LSTM中文唇语分类方法在说明书摘要公布了：本发明属于唇语口型分析技术领域，公开了基于节点多关联图信息融合的GNN‑LSTM中文唇语分类方法，通过邻接图、对称图与上下唇关系图三种结构表示唇部关键点，在图卷积神经网络与长短期记忆网络的协同作用下提取高维时空特征，有效捕捉唇部关键点之间的时空全局关联性，并基于声母和韵母分成口型类，考虑声母与韵母之间的多层级协同关系，减少口型相似性和视觉混淆性对模型性能的影响，并利用上述提取到的高维时空特征建立口型库，从而对唇部形态与相应拼音进行更具判别力的映射归纳，减少口型相似性和视觉混淆性对模型性能的影响，能够适应实际发音过程中的复杂变化和多对一的映射现象，有效增强后续口型分类的准确性与鲁棒性。

本发明授权基于节点多关联图信息融合的GNN-LSTM中文唇语分类方法在权利要求书中公布了：1.基于节点多关联图信息融合的GNN-LSTM中文唇语分类方法，其特征在于，包括以下步骤：获取人脸说话数据集，所述人脸说话数据集包括人脸说话视频以及对应的带时间戳的文本标签；提取所述人脸说话视频中的视频帧，裁剪视频帧获得唇部区域图，从唇部区域图中提取关键点的坐标；所述关键点作为图的节点形成邻接图、对称图和上下唇关系图；邻接图的外唇的相邻关键点连接为边并形成闭合环，内唇的相邻关键点连接为边并形成另一闭合环；对称图左右对称的关键点连接形成边；所述上下唇关系图的对应位置的上唇关键点与下唇关键点连接形成边；通过邻接图、对称图和上下唇关系图形成图卷积神经网络，输入关键点的坐标输出三种图结构的全局特征，全局特征融合形成融合特征；每个唇部区域图通过图卷积形成融合特征，多个融合特征通过长短期记忆网络处理，输出高维时空特征；将文本标签转换为拼音，基于声母和韵母分成口型类，口型类和高维时空特征建立口型库；口型库输入人脸说话视频，输出形成唇语文字内容； 所述口型类包括：将声母b,p,m，将声母f分类为唇齿音，将声母z,c,s分类为舌尖前音，将声母d,t,n,l分类为舌尖中音，将声母zh,ch,sh,r分类为舌尖后音，将声母j,q,x分类为舌面音，将声母g,k,h分类为舌根音，将声母y,w分类为YX类音；将韵母a,o,e,i,u,v分类为单韵母，将韵母an,en,in,un,vn分类为前鼻韵母，将韵母ang,eng,ing,ong分类为后鼻韵母，将韵母ai,ei,ui,ao,ou,iu分类为前响复韵母，将韵母ie,ve,er分类为后响复韵母。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湘江实验室，其通讯地址为：410000 湖南省长沙市高新区尖山路217号北斗产业园1栋；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。