买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种基于多模态模型的自动化GUI测试方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119759771B 。

龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411828998.4，技术领域涉及：G06F11/3668；该发明授权一种基于多模态模型的自动化GUI测试方法及系统是由智晨;宋嘉荟;赵康嘉;梁秀波;赵天成;邓水光;尹建伟设计研发完成，并于2024-12-12向国家知识产权局提交的专利申请。

本一种基于多模态模型的自动化GUI测试方法及系统在说明书摘要公布了：本发明公开了一种基于多模态模型的自动化GUI测试方法及系统，包括：1构建统一测试基准环境GTArena，将GUI测试流程分解为测试意图生成、测试任务执行与GUI缺陷检测三个连续阶段，并采用多模态模型执行三个阶段的流程；2利用POMDP对测试任务执行过程进行建模，描述状态转移与决策过程；3借助转移元组对应用程序的交互状态进行建模，记录测试任务执行过程中的状态转移序列与操作行为日志；4利用真实应用程序、人工注入缺陷的应用程序及合成数据构建大规模数据集，对多模态大语言模型进行评估与训练优化；5利用经过评估和训练优化的多模态模型进行自动化GUI测试。利用本发明，可以有效提升自动化GUI测试的整体效率与可靠性。

本发明授权一种基于多模态模型的自动化GUI测试方法及系统在权利要求书中公布了：1.一种基于多模态模型的自动化GUI测试方法，其特征在于，包括以下步骤： 1构建统一测试基准环境GTArena，将自动化GUI测试流程分解为测试意图生成、测试任务执行与GUI缺陷检测三个连续阶段； 其中，在测试意图生成阶段，利用多模态大语言模型生成测试操作意图，以模拟真实用户使用应用程序的交互路径；在测试任务执行阶段，多模态大语言模型基于已生成的测试意图执行相应的GUI操作，并对执行过程中产生的状态转移与操作行为日志进行记录和分析；在GUI缺陷检测阶段，多模态大语言模型利用记录的状态转移与操作日志对GUI界面进行缺陷检测与评估； 2利用部分可观测马尔科夫决策过程POMDP对测试任务执行过程进行建模，描述状态转移与决策过程，从而识别应用程序状态变化及相应操作行为； 3借助转移元组对应用程序的交互状态进行建模，记录测试任务执行过程中的状态转移序列与操作行为日志，为缺陷检测与评估奠定数据基础； 4利用真实应用程序、人工注入缺陷的应用程序及合成数据构建大规模数据集，对多模态大语言模型进行评估与训练优化； 5利用经过评估和训练优化的多模态模型进行自动化GUI测试。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。