买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利基于视点追踪的智能人机交互方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116110108B 。

龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310196143.3，技术领域涉及：G06V40/16；该发明授权基于视点追踪的智能人机交互方法是由邢建川;刘梓然;曾凤;陈洋;周春文;付鱼;杨布雨设计研发完成，并于2023-03-03向国家知识产权局提交的专利申请。

本基于视点追踪的智能人机交互方法在说明书摘要公布了：本发明公开了一种基于视点追踪的智能人机交互方法，属于基于视点追踪的人机交互技术领域。本发明包括：通过计算机自带的摄像头采集图像，并对采集到的图像进行人脸检测，基于人脸检测框提取人脸图像；对人脸图像进行人脸特征点检测，得到人脸图像的人脸特征点；对人脸特征点进行头部姿态估计获取眼睛图像，基于深度学习的视点追踪处理，基于视点追踪的人机交互处理。本发明实现一种仅通过计算机自带摄像头，不借助其他任何硬件设备，在没有任何约束的条件下利用深度学习算法实时对用户视点进行追踪，并监控用户面部姿态变化，利用视点和面部姿态变化实现基于视点追踪的人机交互。

本发明授权基于视点追踪的智能人机交互方法在权利要求书中公布了：1.基于视点追踪的智能人机交互方法，其特征在于，包括下列步骤： 步骤1，通过计算机自带的摄像头采集图像，并对采集到的图像进行人脸检测，基于人脸检测框提取人脸图像； 对人脸图像进行人脸特征点检测，得到人脸图像的人脸特征点； 步骤2，头部姿态估计： 步骤201，定义一个包括6个关键点的3D人脸模型，其中，3D人脸模型的6个关键点为：每只眼睛分别包括左右眼角两个关键点，嘴巴包括左右嘴角两个关键点； 步骤202，在步骤1得到的人脸特征点中，查找与3D人脸模型的6个关键点位置对应的特征点，得到2D关键点；并基于2D关键点中的两只眼睛的关键点从人脸图像中提取出眼睛图像； 步骤203，基于3D人脸模型的6个关键点和对应的2D关键点，采用EPNPefficientperspective-n-point算法获取头部旋转向量r，并基于头部旋转向量r计算旋转矩阵R′及对应的欧拉角，其中的欧拉角确定了头部的旋转角度，即2D头部角度； 步骤204，归一化处理： 定义头部坐标系，该坐标系包括x、y和z轴，其中，x轴为连接两个眼睛的中点，方向从右向左；y轴为从右眼睛中点向嘴巴方向出发，且垂直于x轴，z轴为从右眼睛中点指向人脸后方且垂直于x轴和y轴； 计算头部坐标系和相机坐标系之间的平移向量tr； 根据公式er＝tr+eh分别计算左右眼在相机坐标系中的位置er，其中eh为两个眼角关键点的中点； 计算转换矩阵T＝SR′，其中，缩放矩阵S＝diag1，1，dn‖er‖，dn表示相机坐标系原点； 基于转换矩阵T对2D关键点中的眼睛的关键点位置进行转换，以及对2D头部角度进行转换，得到归一化后的2D眼睛关键点位置和2D头部角度； 步骤3，基于深度学习的视点追踪处理； 采用卷积神经网络VGG16架构作为视点追踪的网络模型，将眼睛图像作为模型的输入，并将归一化后的2D头部角度输入VGG16的第一个全连接层；并将VGG16的第一和第二池化层的池化步长修改为1；VGG16的第三个全连接层用于预测当前输入图像的眼睛的空间凝视向量； 对预测得到的空间凝视向量进行空间映射处理，以获取当前空间凝视向量所对应的屏幕坐标： 计算眼睛到屏幕的距离t：其中，ze表示头部坐标系中的眼睛中心的z轴坐标，zg表示头部坐标系中空间凝视向量的z轴坐标； 计算空间凝视向量在相机平面的坐标点x,y：x＝xe+t×xg，y＝ye+t×yg；其中，xe，ye为头部坐标系中眼睛中心的x，y轴坐标，xg，yg为头部坐标系中空间凝视向量的x，y轴坐标； 将相机平面的坐标点x,y转换为屏幕像素点，得到空间凝视向量的屏幕映射点Px,Py： 其中，Wx，Hx表示屏幕的像素，Wm，Hm表示屏幕的大小； 步骤4，基于视点追踪的人机交互处理： 基于预置的用户面部姿态变化信息与输入设备的操作方式的映射，提取当前用户面部姿态变化信息所对应的输入设备操作方式，该操作方式的在屏幕上的操作位置为空间凝视向量的屏幕映射点Px,Py。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。