买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳天中萃宝文化产业有限公司申请的专利基于多模态交互学习的全息显示数字人语音识别增强方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119541459B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411604866.3，技术领域涉及：G10L15/02；该发明授权基于多模态交互学习的全息显示数字人语音识别增强方法是由周光磊;释延豹设计研发完成，并于2024-11-12向国家知识产权局提交的专利申请。

本基于多模态交互学习的全息显示数字人语音识别增强方法在说明书摘要公布了：本发明公开了基于多模态交互学习的全息显示数字人语音识别增强方法，包括如下步骤：S1、采集并预处理数据，生成多模态特征矩阵；S2、将多模态特征矩阵输入自适应多模态交互核，生成多模态交互特征；S3、将多模态交互特征输入情绪卷积块，生成语义‑情绪映射特征；S4、将语义‑情绪映射特征输入交叉注意力生成器，输出多模态融合特征；S5、将多模态融合特征输入多模态融合‑分解双向网络，生成经过解耦优化的多模态特征；S6、将多模态特征输入全息‑语音共生优化模块，生成语音识别与全息显示数据；S7、应用自监督学习和对比学习策略进行参数优化，实现自适应调整。本发明利用多模态交互学习方法，实现了全息显示数字人语音识别的增强。

本发明授权基于多模态交互学习的全息显示数字人语音识别增强方法在权利要求书中公布了：1.基于多模态交互学习的全息显示数字人语音识别增强方法，其特征在于，包括如下步骤： S1、通过多传感器阵列采集用户的语音数据、视觉数据和环境音数据，对采集到的数据进行标准化和降噪预处理，生成多模态特征矩阵，所述多模态特征矩阵包括语音特征、视觉特征和环境特征； S2、将多模态特征矩阵输入自适应多模态交互核，利用动态图卷积网络构建并动态更新交互图，通过图注意力机制对交互图进行权重调节，生成优化后的多模态交互特征； S3、将优化后的多模态交互特征输入情绪卷积块，提取视觉情绪特征并与语音特征结合，生成语义-情绪映射特征； S4、将语义-情绪映射特征输入交叉注意力生成器，在共享空间中进行特征交叉映射和增强，输出具有上下文感知能力的多模态融合特征； S5、将具有上下文感知能力的多模态融合特征输入多模态融合-分解双向网络，进行深度融合处理并生成分解路径输出，生成经过解耦优化的多模态特征； S6、将经过解耦优化的多模态特征输入全息-语音共生优化模块，利用变换器与双向长短期记忆网络的混合架构进行处理，生成实时同步的语音识别与全息显示数据； S7、基于实时同步数据反馈信息，应用自监督学习和对比学习策略进行参数优化，并通过联邦学习机制实现参数的自适应调整； 所述S1具体包括：对所述语音数据进行频谱分析并提取梅尔频率倒谱系数，生成语音特征；利用双分支卷积注意力网络从所述视觉数据中提取视觉特征；对所述环境音数据进行背景处理并提取环境特征； 所述S3具体包括： S31、将优化后的多模态交互特征输入情绪卷积块，所述情绪卷积块由多个卷积层和非线性激活单元组成，提取视觉数据中的情绪特征，所述卷积层采用不同的卷积核尺寸捕捉不同尺度的情绪信息，生成初步情绪特征图； S32、对生成的初步情绪特征图进行多层卷积和池化操作，卷积层采用非线性激活函数进行特征映射，池化层用于降低初步情绪特征图维度，保留显著情绪特征并减少噪声； S33、应用情绪注意力机制对提取的情绪特征进行加权处理： 其中，βij表示初步情绪特征图中位置i,j的注意力权重，a表示可学习的参数向量，We表示注意力机制的权重矩阵，Eij表示初步情绪特征图中位置i,j的特征值，Epq表示初步情绪特征图中位置p,q的特征值，Ekl表示初步情绪特征图中位置k,l的特征值，Est表示初步情绪特征图中位置s,t的特征值，||Eij-Epq||2表示初步情绪特征图中位置i,j和位置p,q之间的欧几里得距离的平方，δ表示调整因子，be表示偏置项，exp表示指数函数，||Ekl-Est||2表示步情绪特征图中位置k,l和位置s,t之间的欧几里得距离的平方，M表示初步情绪特征图的高度，N表示初步情绪特征图的宽度，ReLU表示激活函数； S34、将计算出的注意力权重应用于情绪特征图，生成加权后的情绪特征； S35、将加权后的情绪特征与输入的语音特征进行联合建模，通过多模态融合函数实现情绪特征与语音特征的结合，生成语义-情绪映射特征； S36、输出生成的语义-情绪映射特征，作为交叉注意力生成器输入。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳天中萃宝文化产业有限公司，其通讯地址为：518100 广东省深圳市龙岗区吉华街道甘坑社区甘李二路9号金苹果创新园厂房B1201；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。