买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉恒安嘉新(北京)科技股份公司申请的专利基于计算机视觉和机器学习的沙箱自动化测试方法、设备及计算机存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118656301B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410837210.X，技术领域涉及：G06F11/3668；该发明授权基于计算机视觉和机器学习的沙箱自动化测试方法、设备及计算机存储介质是由庄越淋;阿曼太;雷小创;刘新鹏;张朕;傅强;王杰;杨满智;金红;陈晓光;胡兵设计研发完成，并于2024-06-26向国家知识产权局提交的专利申请。

本基于计算机视觉和机器学习的沙箱自动化测试方法、设备及计算机存储介质在说明书摘要公布了：本发明提供一种基于计算机视觉和机器学习的沙箱自动化测试方法，包括：收集沙箱终端的操作录像数据，并根据时间戳保存录像数据的屏幕布局信息文件和操作标记序列文件；将录像数据切分为若干场景的操作切片，对切片进行抽帧，对抽取的每一帧图像进行预处理，通过特征提取算法和屏幕布局信息文件提取预处理后图像中的特征元素；将提取的特征元素输入计算机视觉网络模型中进行训练，构建可操作元素分类模型，可操作元素分类模型识别录像数据中的可操作元素，将可操作元素输入机器学习模型中进行自监督学习训练，构建业务场景识别模型，业务场景识别模型根据收集的录像数据输出预测结果进行自动化测试。本发明提供了一种全面、可靠的自动化工具。

本发明授权基于计算机视觉和机器学习的沙箱自动化测试方法、设备及计算机存储介质在权利要求书中公布了：1.一种基于计算机视觉和机器学习的沙箱自动化测试方法，其特征在于，包括： 收集沙箱终端的操作录像数据，并根据时间戳保存所述录像数据的屏幕布局信息文件和操作标记序列文件； 将所述录像数据切分为若干场景的操作切片，对切片进行抽帧，对抽取的每一帧图像进行预处理，通过特征提取算法和所述屏幕布局信息文件提取预处理后图像中的特征元素； 将提取的所述特征元素输入计算机视觉网络模型中进行训练，构建可操作元素分类模型，可操作元素分类模型识别所述录像数据中的可操作元素，将所述可操作元素输入机器学习模型中进行自监督学习训练，构建业务场景识别模型，所述业务场景识别模型根据收集的所述录像数据输出预测结果进行自动化测试； 所述将所述录像数据切分为若干场景的操作切片包括，在每个终端的运行过程中，将返回到应用首页识别为一次场景操作结束的标志，根据识别标志将所述录像数据切分为不同的操作场景； 所述对切片进行抽帧包括： 对切片进行抽帧后，根据图像相似度判断界面变更，保留识别的独立界面，得到表征一个操作场景的录像切片的一组有序图像集合，并根据所保留帧的时间戳，获取对应的屏幕布局信息文件； 所述将提取的所述特征元素输入机器学习模型中进行训练，构建可操作元素分类模型包括， 对提取的特征元素进行人工标注，标注后的特征元素分为特征元素训练集合和特征元素测试集合，将所述特征元素训练集合输入机器学习模型进行模型训练，将所述特征元素测试集合输入训练后的机器学习模型进行模型验证，得到可操作元素分类模型； 所述将所述可操作元素输入自监督学习模型中进行自监督学习训练，构建业务场景识别模型包括， 获取表征场景的图像帧序列以及图像中的可操作元素信息后，将单个完整的场景视为单个语句，单个场景中有序排列的界面图片和界面操作对象视为单词，使用机器学习模型进行语义训练； 还包括， 收集沙箱终端新的操作录像数据，并利用反馈机制优化所述业务场景识别模型，通过预测结果与实际用户行为的比较和分析，调整所述业务场景识别模型参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人恒安嘉新(北京)科技股份公司，其通讯地址为：100000 北京市海淀区北三环西路25号27号楼五层5002室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。