北京火山引擎科技有限公司廖敏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京火山引擎科技有限公司申请的专利大模型评估的方法、装置、电子设备和计算机程序产品获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119025484B 。
龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411124729.X,技术领域涉及:G06F16/14;该发明授权大模型评估的方法、装置、电子设备和计算机程序产品是由廖敏;张洋;付尧;孟嘉霖;刘武利;张晓亮;刘柏缨设计研发完成,并于2024-08-15向国家知识产权局提交的专利申请。
本大模型评估的方法、装置、电子设备和计算机程序产品在说明书摘要公布了:本公开的实施例涉及大模型评估的方法、装置、电子设备和计算机程序产品,用于大模型领域。该方法包括基于指示从多个评估策略中选择用于评估目标模型的评估策略的用户输入,发送用于执行所选择的评估策略的请求。此外,该方法还包括获取请求的执行结果,执行结果至少包括目标模型的评估结果。通过本公开的实施例,能够高效地完成模型评估,提高评估效率,缩短模型的开发周期,加快模型的迭代,并且还能够降低开发模型评估任务的难度,使更多用户能够参与模型的评估过程。
本发明授权大模型评估的方法、装置、电子设备和计算机程序产品在权利要求书中公布了:1.一种大模型评估的方法,包括: 基于指示从多个评估策略中选择用于评估目标模型的评估策略的用户输入,发送用于执行所选择的所述评估策略的请求,所述评估策略包括运行策略和多个评分策略,所述多个评估策略被发布在策略系统上,所述策略系统被配置为: 创建所述评估策略的策略文件,所述策略文件被保存在数据库中,并且所述策略文件基于所述策略系统提供的工具包而被生成,所述工具包支持数据集管理、环境变量调用、元数据获取中的一项或者多项; 通过设置用于执行所述评估策略所需的依赖项来生成依赖文件,所述依赖文件被读取以安装依赖包; 通过将所述策略文件、所述工具包、所述依赖文件、策略服务的配置文件以及所述策略服务的入口函数进行打包作为发布文件来将所述评估策略发布到所述策略系统中的所述策略服务,所述策略服务为函数即服务FaaS; 响应于接收到所述用于执行所述评估策略的所述请求,通过执行所述FaaS的所述入口函数来将所述请求分发到选定的所述运行策略; 执行所述运行策略来确定所述目标模型的模型输出; 对所述目标模型的所述模型输出执行所述多个评分策略,确定所述请求的多个执行结果;以及 获取所述请求的所述多个执行结果,所述多个执行结果至少包括所述目标模型的多个评估结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京火山引擎科技有限公司,其通讯地址为:100190 北京市海淀区紫金数码园4号楼13层1309;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。