买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉长春理工大学申请的专利一种基于双模态网络的VR病评估方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115147004B 。

龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210896558.7，技术领域涉及：G16H50/30；该发明授权一种基于双模态网络的VR病评估方法是由权巍;胡汉平;韩成;李华;王超;蔡永青;李林轩设计研发完成，并于2022-07-27向国家知识产权局提交的专利申请。

本一种基于双模态网络的VR病评估方法在说明书摘要公布了：本发明涉及一种基于双模态网络的VR病评估方法，其特征在于：首先，在2D‑ResNet50模型的基础上，将所有卷积核扩展成3D卷积核，基于3D‑ResNet构建外观流和运动流子网络；然后，将3D卷积引入到2D‑CBAM注意力机制中，在两个子网络中分别添加注意力模块，对通道及空间上的特征进行加强；最后，采用加权平均后端融合方法实现VR病评估；其提高了VR病评估网络的性能，有效地提升了预测精度。

本发明授权一种基于双模态网络的VR病评估方法在权利要求书中公布了：1.一种基于双模态网络的VR病评估方法，其特征在于：首先，在2D-ResNet50模型的基础上，将所有卷积核扩展成3D卷积核，基于3D-ResNet构建外观流和运动流子网络；然后，将3D卷积引入到2D-CBAM注意力机制中，在两个子网络中分别添加注意力模块，对通道及空间上的特征进行加强；最后，采用加权平均后端融合方法实现VR病评估；其具体的步骤如下： 步骤1：构建外观流子网络进行VR病评估，包括如下子步骤： 步骤101：将360°VR彩色视频的每一帧图像缩小，并裁剪到112×112的固定尺寸；并将视频分解多个连续帧组，每个组中包括连续L帧图像； 步骤102：按照VR视频主观VR病评分值将其划分为：舒适、轻度不适、中度不适、重度不适四个类别，将分类结果作为模型训练的真值； 步骤103：在传统2D-ResNet50的基础上，保持网络结构不变，将所有卷积核扩展为3D卷积核，使得卷积核可在时间维度图像帧序列上进行滑动卷积操作；改进的外观流子网络的Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x层的输入大小分别为：L×112×112、L×56×56、网络结构配置分别为：7×7×7，64，stride2， 在逐层提取特征后接入全连接层，利用Softmax分类器和交叉熵损失函数进行分类； 步骤104：将传统2D-CBAM注意力机制扩展为3D结构，在每一次提取通道特征与空间特征时考虑深度参数的变化，对于输入特征图F3D，按照通道-空间的顺序分别计算通道注意力特征图MCA以及空间注意力特征图MSA： 其中，σ代表Sigmoid激活函数，ω0,ω1为权重，且ω0∈RCr×C，C为通道数，ω1∈RC×Cr，且对于和是共享的；和为特征图F3D分别通过平均池化和最大池化操作解算出的两个特征描述子,参数r取16；MLP为CBAM注意力模型中的一个隐藏层，即共享多层感知机；f7×7×7代表7×7×7的3D卷积层；和为F'3D分别通过平均池化和最大池化操作解算出的两个特征描述子, 注意力模块的输出特征图为F"3D： 在外观流子网络Conv1层3D卷积之后以及Conv2_x、Conv3_x、Conv4_x、Conv5_x四层的每个残差块之后分别加入3D-CBAM模块； 步骤105：以彩色视频连续帧组图像作为外观流子网络的输入，每个图像3通道×112像素×112像素，进行训练； 步骤2：构建运动流子网络进行VR病评估，包括如下子步骤： 步骤201：采用FlowNet2.0算法获取360°VR彩色视频的光流图序列；重复步骤101，获取到每个视频的多个连续光流图序列组；并将步骤102的分类结果作为模型训练的真值； 步骤202：重复步骤103、104构建运动流子网络，以连续光流图序列组中的图像作为网络的输入，每个图像2通道×112像素×112像素，进行训练； 步骤3：采用后端融合的方式，将外观流子网络和运动流子网络的输出进行加权平均融合得到最终的VR病评估结果Average_f: 其中，权值wi≥0，且T＝2，Pxi表示两个子网络的输出结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人长春理工大学，其通讯地址为：130022 吉林省长春市卫星路7186号长春理工大学南区科技大厦b16；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。