北京火山引擎科技有限公司陈冠辉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京火山引擎科技有限公司申请的专利预训练模型服务的调用方法、装置、设备、介质及产品获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120378476B 。
龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510812225.5,技术领域涉及:H04L67/2869;该发明授权预训练模型服务的调用方法、装置、设备、介质及产品是由陈冠辉;谢皓;翁一帆;刘有为;李浩凯;张俊钦;张卓;王剑设计研发完成,并于2025-06-17向国家知识产权局提交的专利申请。
本预训练模型服务的调用方法、装置、设备、介质及产品在说明书摘要公布了:本公开涉及计算机技术、大模型技术、大语言模型技术、人工智能技术领域,具体涉及一种预训练模型服务的调用方法、装置、设备、介质及产品,该方法包括:获取端侧设备对应的模型边缘网关;当接收到端侧设备发起的模型服务调用请求时,若通过模型边缘网关查询到缓存服务器中存在与模型服务调用请求所匹配的预训练模型缓存信息,则将预训练模型缓存信息返回给端侧设备;否则,获取模型边缘网关所处的内网环境,将模型服务调用请求发送至内网环境的目标模型服务器,通过目标模型服务器返回与模型服务调用请求所匹配的目标模型服务。通过实施本技术方案,减少了调用时间,提升了端侧设备的应用响应速度,节省了模型服务的推理计算,优化了资源使用率。
本发明授权预训练模型服务的调用方法、装置、设备、介质及产品在权利要求书中公布了:1.一种预训练模型服务的调用方法,其特征在于,所述方法包括: 获取端侧设备对应的模型边缘网关,所述模型边缘网关与所述端侧设备部署在同一边缘区域; 当接收到所述端侧设备发起的模型服务调用请求时,通过所述模型边缘网关查询缓存服务器中是否存在与所述模型服务调用请求所匹配的预训练模型缓存信息,所述缓存服务器与所述模型边缘网关部署在相同边缘区域,所述预训练模型缓存信息用于表示所述端侧设备历史时间内所调用过的模型信息; 若所述缓存服务器存在与所述模型服务调用请求所匹配的预训练模型缓存信息,则将所述预训练模型缓存信息返回给所述端侧设备; 若所述缓存服务器不存在与所述模型服务调用请求所匹配的预训练模型缓存信息,则获取所述模型边缘网关所处的内网环境; 将所述模型服务调用请求发送至所述内网环境中的目标模型服务器,通过所述目标模型服务器返回与所述模型服务调用请求所匹配的目标模型服务; 其中,所述通过所述目标模型服务器返回与所述模型服务调用请求所匹配的目标模型服务,包括: 获取所述端侧设备对应的模型服务调用策略,以及与所述模型服务调用请求所匹配的多个候选模型服务,所述模型服务调用策略为端侧设备调用模型服务的策略,所述模型服务调用策略封装在所述模型服务调用请求中,所述模型服务调用策略为延时最短优先策略、吞吐量最大优先策略和资源消耗优化策略中的任一者,延时最短优先策略下的模型服务延时用于表示模型进行任务推理输出结果所耗费的时间,吞吐量最大优先策略下的模型服务吞吐量表示模型在单位时间内能够处理的数据量,资源消耗优化策略下的模型服务资源消耗用于表示模型使用过程中所耗费的资源; 按照所述模型服务调用策略从所述多个候选模型服务中确定所述目标模型服务。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京火山引擎科技有限公司,其通讯地址为:100190 北京市海淀区紫金数码园4号楼13层1309;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励