买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华中师范大学申请的专利基于文本主驱动的多模态课堂教师言语行为分析方法、系统及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117009580B 。

龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310810239.4，技术领域涉及：G06F16/783；该发明授权基于文本主驱动的多模态课堂教师言语行为分析方法、系统及设备是由张思;惠柠;禹化佩;曹兰英;陈洁盈设计研发完成，并于2023-07-03向国家知识产权局提交的专利申请。

本基于文本主驱动的多模态课堂教师言语行为分析方法、系统及设备在说明书摘要公布了：本发明公开了一种基于文本主驱动的多模态课堂教师言语行为分析方法、系统及设备，构建了一个可以实现课堂教师言语行为分类的多模态学习模型，提升了模型的分类效果。本发明采用文本主驱动的方式融合不同模态，使用跨模态注意力机制，关注不同模态的贡献；根据不同模态的数据特点提取特征并选择合适的表征方式，丰富了模态的特征表示；改进损失函数优化模型参数，提升了不平衡数据的分类准确率。

本发明授权基于文本主驱动的多模态课堂教师言语行为分析方法、系统及设备在权利要求书中公布了：1.一种基于文本主驱动的多模态课堂教师言语行为分析方法，其特征在于，包括以下步骤： 步骤1，获取课堂视频，提取视频中的音频； 步骤2，音频转录文本，记录语音停顿时间和说话人； 步骤3，将音频按照步骤2中记录的语音停顿切分成音频段； 步骤4，音频数据处理，筛选保留教师音频段和文本； 步骤5，提取步骤4中音频段的音频特征和文本特征； 步骤5中，首先，提取音频段的梅尔频率倒谱系数MFCC特征XMFCC和声学低级描述符LLD特征XLLD；其次，文本输入中文预训练模型Bert获得词向量特征XT； 步骤6，将步骤5得到的音频特征和文本特征输入构建的基于文本主驱动的多模态课堂教师言语行为分类模型中，并且构建损失函数优化分类结果； 步骤6的具体实现过程如下： 首先，将音频特征MFCC输入Conformer的卷积模块中得到卷积后的音频特征MFCC，记为XM，将音频特征LLD输入BiLSTM模块中得到处理后的音频特征LLD，记为XL，然后将卷积后得到的音频特征MFCC和处理后的音频特征LLD分别输入一维卷积得到最终的音频特征MFCC和LLD，记为音频特征向量Xm和Xl； 然后将Bert词向量特征输入一维卷积得到最终的文本特征，记为文本特征向量Xt； 最后将最终的音频特征MFCC和LLD分别与文本特征作以文本为中心的注意力融合处理，将注意力机制融合后的特征进行叠加处理，经激活函数输入最大池化层和全连接层，预测课堂中教师言语行为的类别，最终的损失函数包含三部分，交叉熵损失函数，单模态对的损失函数，单模态与融合模态之间的损失函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华中师范大学，其通讯地址为：430079 湖北省武汉市洪山区珞瑜路152号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。