买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京凌云光子技术有限公司申请的专利一种大模型在边缘计算设备上的轻量化部署方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120821479B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511294327.9，技术领域涉及：G06F8/60；该发明授权一种大模型在边缘计算设备上的轻量化部署方法及系统是由杨影;柴作鸿;洪福星设计研发完成，并于2025-09-11向国家知识产权局提交的专利申请。

本一种大模型在边缘计算设备上的轻量化部署方法及系统在说明书摘要公布了：本申请提供一种大模型在边缘计算设备上的轻量化部署方法及系统。其中，本申请通过提取目标边缘设备的硬件指令集架构类型及并行计算单元数量，构建加速能力画像。基于指令类型，通过统一查找表向量化引擎将大模型权重分组划分并预计算，生成与目标指令集匹配的预计算向量。依据并行单元数量及指令级并行能力，编译预计算向量生成适配的并行查表指令块，分配与并行单元数量相等的执行线程，消除数据依赖冲突。最后将指令块加载至共享内存区域，基于指令类型配置光导开关矩阵的拓扑逻辑，在硬件指令周期内动态切换数据传输路径。本申请实现了大模型在边缘设备的高效部署与资源受限环境下的低延迟推理。

本发明授权一种大模型在边缘计算设备上的轻量化部署方法及系统在权利要求书中公布了：1.一种大模型在边缘计算设备上的轻量化部署方法，其特征在于，包括： 提取目标边缘设备的硬件指令集架构类型及并行计算单元数量，基于所述硬件指令集架构类型识别指令级并行能力，构建包含指令类型与并行计算单元数量的加速能力画像； 根据所述加速能力画像中的指令类型，通过统一查找表向量化引擎将大模型权重按比特分组划分为多个权重子集，对每个所述权重子集执行预计算操作，生成与目标指令集架构匹配的预计算向量； 基于所述加速能力画像中的并行计算单元数量及指令级并行能力，编译所述预计算向量，生成适配目标指令集架构的并行查表指令块，分配与并行计算单元数量相等的执行线程至所述并行查表指令块，按所述指令级并行能力重组流水线操作顺序，消除数据依赖冲突； 将所述并行查表指令块加载至目标边缘设备的处理单元与现场可编程门阵列的共享内存区域，基于所述加速能力画像中的指令类型，配置光导开关矩阵的拓扑连接逻辑，通过所述光导开关矩阵，在硬件指令执行周期内切换处理单元与现场可编程门阵列之间的数据传输路径，完成大模型的轻量化部署与推理执行; 其中，根据所述加速能力画像中的指令类型，通过统一查找表向量化引擎将大模型权重按比特分组划分为多个权重子集，对每个所述权重子集执行预计算操作，生成与目标指令集架构匹配的预计算向量，包括： 从所述加速能力画像的指令类型中提取最大并行操作位宽，获取预先设定的比特分组单元固定长度，以所述最大并行操作位宽除以比特分组单元固定长度，计算单个权重子集包含的比特分组单元数量； 将大模型权重序列按所述比特分组单元固定长度切割为连续单元序列，根据所述比特分组单元数量，从所述连续单元序列中截取等量连续单元，划分为多个权重子集； 对每个权重子集，在统一查找表向量化引擎中枚举输入值的完整取值范围，针对在所述完整取值范围内的权重子集的每个输入值，计算输入值在权重子集中所有比特分组单元上的模拟输出值集合； 将所述模拟输出值集合按顺序拼接为位宽等于最大并行操作位宽的向量化结果，按输入值从小到大的顺序排列所述向量化结果，在连续存储区域形成预计算向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京凌云光子技术有限公司，其通讯地址为：100159 北京市海淀区翠湖南环路13号院6号楼5层101；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。