平安银行股份有限公司陆则权获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉平安银行股份有限公司申请的专利一种推理服务的处理方法、装置、计算机设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115358401B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211019473.7,技术领域涉及:G06N5/04;该发明授权一种推理服务的处理方法、装置、计算机设备及存储介质是由陆则权设计研发完成,并于2022-08-24向国家知识产权局提交的专利申请。
本一种推理服务的处理方法、装置、计算机设备及存储介质在说明书摘要公布了:本发明提供一种推理服务的处理方法、装置、计算机设备及存储介质,包括:获取推理服务请求中的服务类型;根据服务类型,确定预设的初始服务配置中的目标服务配置;根据目标服务配置中的模型类型配置,确定预先部署的初始推理模型中的目标推理模型;根据目标服务配置中的模型编排配置,对目标推理模型进行编排,得到目标服务模型;基于目标服务模型,对推理服务请求对应的待推理数据进行推理,得到推理结果。目标服务配置作为得到目标服务模型的核心变量,因此部署的推理模型可被不同的服务配置进行编排,从而得到不同的服务模型,实现了推理模型的复用;提高了AI芯片或AI显卡的利用率,降低了使用成本;此外,还避免了资源的浪费。
本发明授权一种推理服务的处理方法、装置、计算机设备及存储介质在权利要求书中公布了:1.一种推理服务的处理方法,其特征在于,包括: 获取推理服务请求中的服务类型; 根据所述服务类型,确定预设的初始服务配置中的目标服务配置;根据所述目标服务配置中的模型类型配置,确定预先部署的初始推理模型中的目标推理模型; 根据所述目标服务配置中的模型编排配置,对所述目标推理模型进行编排,得到目标服务模型; 基于所述目标服务模型,对所述推理服务请求对应的待推理数据进行推理,得到推理结果; 在所述根据所述服务类型,确定预设的初始服务配置中的目标服务配置的步骤之前,还包括: 获取预设的初始配置模板中的目标配置模板以及所述目标配置模板对应的目标配置参数;根据所述目标配置参数,对所述目标配置模板进行参数设置,得到所述初始服务配置; 所述根据所述目标配置参数,对所述目标配置模板进行参数设置,得到所述初始服务配置,包括: 根据所述目标配置参数,对所述目标配置模板进行参数设置,得到中间服务配置;根据所述中间服务配置中的模型类型配置,确定预先部署的初始推理模型中的中间推理模型;根据所述中间服务配置中的模型编排配置,对所述中间推理模型进行编排,得到中间服务模型;获取训练样本集,根据所述训练样本集对所述中间服务模型进行训练,得到训练好的中间服务模型;根据所述训练好的中间服务模型的权重参数,对所述中间服务配置中的模型编排配置进行参数调整,得到所述初始服务配置,模型编排配置包括模型权重配置; 模型编排配置包括模型关系配置和模型权重配置;所述根据所述目标服务配置中的模型编排配置,对所述目标推理模型进行编排,包括: 根据所述目标服务配置中的模型关系配置,对多个所述目标推理模型进行模型组合;根据所述目标服务配置中的模型权重配置,分别对多个所述目标推理模型进行权重设置。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人平安银行股份有限公司,其通讯地址为:518000 广东省深圳市罗湖区深南东路5047号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。