买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉乘方科技(北京)有限公司申请的专利基于层内并行与通信量化的大语言模型分布式推理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121562780B 。

龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511591078.X，技术领域涉及：G06N5/04；该发明授权基于层内并行与通信量化的大语言模型分布式推理方法是由姚俊梅;侯文设计研发完成，并于2025-11-03向国家知识产权局提交的专利申请。

本基于层内并行与通信量化的大语言模型分布式推理方法在说明书摘要公布了：本发明公开了基于层内并行与通信量化的大语言模型分布式推理方法。该方法涉及分布式推理技术领域，包括以下步骤：计算资源效率评估与调控；网络环境适配评估；推理结果生成与输出。本发明通过在大语言模型分布式推理中，先评估计算资源利用效率，若效率不足则优化同步通信与负载均衡；随后评估网络环境适配度，若适配不足则优化网络拓扑与传输协议；最终输出推理结果，实现异构网络环境下资源高效利用与自适应调控，提高了大语言模型分布式推理实用性，解决了现有技术中存在由于现有的大语言模型并行推理方案无法在高计算效率和低网络依赖之间取得平衡导致大语言模型分布式推理实用性低的问题。

本发明授权基于层内并行与通信量化的大语言模型分布式推理方法在权利要求书中公布了：1.基于层内并行与通信量化的大语言模型分布式推理方法，其特征在于，包括以下步骤： 获取大语言模型分布式推理过程中用于反映计算资源利用效率的分布式计算效率参数，基于获取的分布式计算效率参数得到资源利用率分布式计算效率值，用于量化在异构、消费级硬件和标准计算机网络构成的分布式计算环境中，大语言模型并行推理方案里集群内硬件计算资源被有效利用的程度； 根据资源利用率分布式计算效率值判断是否执行分布式计算效率调控，若是，则在执行分布式计算效率调控后，继续执行环境适配状态监测步骤，若否，则直接执行环境适配状态监测步骤，所述执行分布式计算效率调控表示结合资源利用率分布式计算效率值对同步通信优化和计算负载均衡进行优化，所述环境适配状态监测指令用于通过反映网络通信性能的网络环境适配度，得到环境适配参数以量化在异构、消费级硬件和标准计算机网络构成的分布式计算环境中，大语言模型并行推理方案对不同网络硬件条件的兼容与适应能力，得到网络环境适配度； 基于获取的网络环境适配度判断是否执行环境适配调控，若是，则在执行环境适配调控后，发送大语言模型分布式推理输出结果，否则，直接发送大语言模型分布式推理输出结果，所述环境适配调控表示结合网络环境适配度对集群网络通信拓扑和传输协议进行优化； 所述获取的分布式计算效率参数包括节点计算活跃比、层计算并行度以及层时间利用率； 在预设单个大语言模型分布式推理任务周期内，通过性能剖析器采集所有节点计算活跃比，并计算节点计算活跃比算术平均值，作为平均节点计算活跃比； 遍历大语言模型所有可并行化层，得到其层计算并行度，并计算层计算并行度算术平均值，作为平均层计算并行度； 遍历模型所有可并行化层，采集每一层的层时间利用，并计算层时间利用算术平均值，作为平均层时间利用率； 将平均节点计算活跃比、平均层计算并行度以及平均层时间利用率进行加权几何平均，得到资源利用率分布式计算效率值； 所述判断是否执行分布式计算效率调控的具体步骤为： 若资源利用率分布式计算效率值大于或等于分布式计算效率参考值，则不执行分布式计算效率调控； 若资源利用率分布式计算效率值小于分布式计算效率参考值，则执行分布式计算效率调控，所述分布式计算效率调控包括同步通信优化调控和计算负载均衡调控。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人乘方科技(北京)有限公司，其通讯地址为：102600 北京市大兴区经济技术开发区科苑路9号1号楼一层S253室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。