鹏城实验室王耀威获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉鹏城实验室申请的专利大模型自动部署方法、装置、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120234016B 。
龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510711093.7,技术领域涉及:G06F8/61;该发明授权大模型自动部署方法、装置、设备及介质是由王耀威;李潘;侯奎;熊雪菲;郑清芳;蒋冬梅设计研发完成,并于2025-05-29向国家知识产权局提交的专利申请。
本大模型自动部署方法、装置、设备及介质在说明书摘要公布了:本公开提供了一种大模型自动部署方法、装置、设备及介质,通过执行大模型自动部署方法,可以基于用户端的输入确定原始大模型、轻量大模型、目标设备的目标设备类型以及目标设备上所能运行的目标模型架构,并为了适配不同性能差异的目标设备,自动生成针对预先注册的模型转换服务的调度信息,由于模型蒸馏服务、模型蒸馏服务和模型部署服务都是预先注册好的,因此在生成有向无环图任务信息时无需人工干预,且通过有向无环图任务信息约束了各个服务之间的执行顺序,并在执行有向无环图任务信息之后,可以依次调度各项服务,自动对大模型进行蒸馏、转换等操作,并最终将转换后的轻量大模型部署到目标设备上,就能提高大模型部署的效率和质量。
本发明授权大模型自动部署方法、装置、设备及介质在权利要求书中公布了:1.一种大模型自动部署方法,其特征在于,包括: 获取用户端输入的下游任务信息,并基于所述下游任务信息确定原始大模型、轻量大模型、目标设备的目标设备类型以及所述目标设备上所能运行的目标模型架构; 当所述原始大模型蒸馏到所述轻量大模型过程中的蒸馏设备类型与所述目标设备类型不一致,和所述轻量大模型的原始模型架构与所述目标模型架构不一致中的至少一项满足时,生成针对预先注册的模型转换服务的调度信息; 构建针对预先注册的所述原始大模型蒸馏到所述轻量大模型的模型蒸馏服务的调度信息,以及构建针对预先注册的所述目标设备的模型部署服务的调度信息,并依次为所述模型蒸馏服务、所述模型转换服务和所述模型部署服务的各项所述调度信息之间配置相邻服务对应的调度依赖关系,基于所有的所述调度信息的顺序和对应的所述调度依赖关系构建有向无环图任务信息; 当所述有向无环图任务信息运行时,基于各个所述调度信息先调度所述模型蒸馏服务将所述原始大模型蒸馏到所述轻量大模型上,再调度所述模型转换服务将蒸馏后的所述轻量大模型转换至所述目标设备类型或所述目标模型架构上,并调度所述模型部署服务将转换后的所述轻量大模型部署到所述目标设备上; 其中,所述当所述有向无环图任务信息运行时,基于各个所述调度信息先调度所述模型蒸馏服务将所述原始大模型蒸馏到所述轻量大模型上,再调度所述模型转换服务将蒸馏后的所述轻量大模型转换至所述目标设备类型或所述目标模型架构上,并调度所述模型部署服务将转换后的所述轻量大模型部署到所述目标设备上,包括: 当所述有向无环图任务信息运行时,基于各个所述调度信息依次调度所述模型蒸馏服务、所述模型转换服务和所述模型部署服务; 当运行所述模型蒸馏服务时,将所述原始大模型蒸馏到所述轻量大模型上; 当运行所述模型转换服务时,确定所依赖的所述模型蒸馏服务是否完成,并在所述模型蒸馏服务完成后,调度所述模型转换服务将蒸馏后的所述轻量大模型转换至所述目标设备类型或所述目标模型架构上; 当运行所述模型部署服务时,确定所依赖的所述模型转换服务是否完成,并在所述模型转换服务完成后,调度所述模型部署服务将转换后的所述轻量大模型部署到所述目标设备上。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人鹏城实验室,其通讯地址为:518000 广东省深圳市南山区兴科一街2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。