买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种面向移动设备的分布式Transformer大模型训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119808888B 。

龙图腾网通过国家知识产权局官网在2025-11-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411723727.2，技术领域涉及：G06N3/098；该发明授权一种面向移动设备的分布式Transformer大模型训练方法是由杨倩倩;舒元超;陈宇豪;严宇轩设计研发完成，并于2024-11-28向国家知识产权局提交的专利申请。

本一种面向移动设备的分布式Transformer大模型训练方法在说明书摘要公布了：本发明公开了一种面向移动设备的分布式Transformer大模型训练方法。在Transformer大模型的分布式训练过程中，对于参与训练的每一个移动设备，收集各异构处理器的计算资源，并基于此将Transformer中不同数量的自注意力头分配到异构处理器上进行并行计算，实现Transformer大模型中自注意力机制在移动设备上的计算加速；容错恢复过程对分布式训练过程中由于移动设备的动态性产生的可预测性故障进行提前处理，使分布式训练在不因故障而中断的情况下完成容错恢复。本发明充分利用移动设备的动态性及其多个处理器的计算资源，实现Transformer模型在移动设备上高效鲁棒的分布式训练。

本发明授权一种面向移动设备的分布式Transformer大模型训练方法在权利要求书中公布了：1.一种面向移动设备的分布式Transformer大模型训练方法，其特征在于，所述移动设备有N个，包括1个中心移动设备和N-1个协同移动设备，所有移动设备通过网络连接，训练方法为：将Transformer大模型分割成N个子模型，分别部署到N个移动设备上，进行分布式协同训练；若移动设备为多处理器的移动设备，则此移动设备将注意力头分配到各个异构处理器上计算；在协同训练的前向传播过程中，当1≤iN时，第i个移动设备将本地前向传播计算得到的中间输出传输给第i+1个移动设备，如果i=N，第i个移动设备计算损失并开始执行反向传播，将梯度发送给第i-1个移动设备；在协同训练的反向传播过程中，当1i≤N时，第i个移动设备将反向传播计算得到的梯度传输给第i-1个移动设备，如果i=1，则第i个移动设备进行下一个数据批次的训练；当某个协同移动设备需要退出分布式训练时，根据容错恢复方法选择合适的移动设备来替换要退出的移动设备继续训练； 所述将注意力头分配到各个异构处理器上计算具体为： 当前移动设备中的注意力头有K个，在分布式训练开始前，在当前移动设备上搜索所有可用于神经网络计算的处理器，总数为M，测量每个处理器执行k个注意力头计算的时间，记为Tk_j，其中1≤j≤M，1≤k≤K，如果某个异构处理器支持多个神经网络计算库，则选择所有计算库中最短的计算时间为Tk_j； 将下界l初始化为0，上界r初始化为所有异构处理器中计算K个注意力头所需时间TK_j中的最小值；在每轮迭代过程中，计算中间值mid=l+r2，然后检查是否存在分配方案，在该分配方案下的总注意力头计算时间小于等于mid+ε×110%，ε为计算时间偏差阈值；定义分配方案S={j,Oj|j=1,…,M;k=1,…K}，检查方法具体如下： 初始化当前分配方案S’={},对于第j个处理器，找到|Tk_j-mid|的最小值，将其对应的自注意力头数量k记为Oj，即为第j个处理器分配k个自注意力头，将j,Oj插入S’；如果|Tk_j-mid|的最小值超过所设定的阈值ε，则设置Oj=0；如果所有Oj的和大于等于K，则表示该分配方案S’可行，更新原有分配方案,令S=S’，并设定上界r为mid-σ；如果所有Oj的和小于K，则该分配方案不可行，更新下界为mid+σ，然后重新查找分配方案；σ是一个避免无限循环的相对小量；当lr时，结束迭代。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310000 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。