买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浪潮云信息技术股份公司申请的专利针对低算力设备的大模型端到端蒸馏部署方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120066803B 。

龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510542975.5，技术领域涉及：G06F9/50；该发明授权针对低算力设备的大模型端到端蒸馏部署方法、装置、设备及介质是由邓铮;康泽民;薛娇设计研发完成，并于2025-04-28向国家知识产权局提交的专利申请。

本针对低算力设备的大模型端到端蒸馏部署方法、装置、设备及介质在说明书摘要公布了：本申请公开了针对低算力设备的大模型端到端蒸馏部署方法、装置、设备及介质，涉及人工智能领域，包括：在计算集群中，确定第一目标数据集和目标学生模型，并部署蒸馏模型训练框架；利用第一预设大模型推理框架将预设大语言模型部署至计算集群，并将部署后的预设大语言模型确定为教师模型；若蒸馏模型训练框架为黑盒知识蒸馏框架，则基于教师模型和第一目标数据集确定第二目标数据集，并利用第二目标数据集对目标学生模型进行蒸馏，以得到蒸馏模型；若蒸馏模型训练框架为白盒知识蒸馏框架，则基于教师模型对目标学生模型进行蒸馏，以得到蒸馏模型；基于第二预设大模型推理框架将蒸馏模型部署至目标设备。因此，能够提高对大语言模型访问的效率。

本发明授权针对低算力设备的大模型端到端蒸馏部署方法、装置、设备及介质在权利要求书中公布了：1.一种针对低算力设备的大模型端到端蒸馏部署方法，其特征在于，包括： 在目标云端的计算集群中，基于获取的问题领域从预设数据库中确定第一目标数据集，利用获取的目标设备的配置信息在预设学生模型库中确定目标学生模型，并部署蒸馏模型训练框架；所述目标设备为自身算力符合预设低算力判定条件的设备； 利用第一预设大模型推理框架和所述计算集群的显卡将预设大语言模型部署至所述计算集群，并将部署后的所述预设大语言模型确定为教师模型； 若所述蒸馏模型训练框架为黑盒知识蒸馏框架，则基于所述教师模型和所述第一目标数据集确定第二目标数据集，并利用所述第二目标数据集对所述目标学生模型进行蒸馏，以得到蒸馏模型； 若所述蒸馏模型训练框架为白盒知识蒸馏框架，则基于所述教师模型的输出概率分布对所述目标学生模型进行蒸馏，以得到所述蒸馏模型； 基于预设模型量化算法和第二预设大模型推理框架将所述蒸馏模型部署至所述目标设备； 其中，所述利用第一预设大模型推理框架和所述计算集群的显卡将预设大语言模型部署至所述计算集群，包括： 将vLLM框架确定为第一预设大模型推理框架，并利用所述第一预设大模型推理框架的分页注意力机制和预设调度器对预设大语言模型执行第一模型部署操作； 利用所述第一预设大模型推理框架的闪存注意力机制对所述预设大语言模型执行第二模型部署操作； 基于所述第一模型部署操作和所述第二模型部署操作将所述预设大语言模型部署至所述计算集群。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浪潮云信息技术股份公司，其通讯地址为：250101 山东省济南市高新区浪潮路1036号浪潮科技园T03号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。