买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利一种存算分离场景下大语言模型GPT-2拉远训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120806176B 。

龙图腾网通过国家知识产权局官网在2025-11-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511317506.X，技术领域涉及：G06N5/04；该发明授权一种存算分离场景下大语言模型GPT-2拉远训练方法是由张传亭;王玮;乔静萍;张海霞;李悦恒;周晓天设计研发完成，并于2025-09-16向国家知识产权局提交的专利申请。

本一种存算分离场景下大语言模型GPT-2拉远训练方法在说明书摘要公布了：本发明提供了一种存算分离场景下大语言模型GPT‑2拉远训练方法，属于人工智能和云计算技术领域。该方法包括：客户端与服务端建立通信连接；客户端对数据进行序列化，经过序列化的数据通过网络传输发送至服务端；服务端主进程创建数据接收线程用于数据接收和发送反馈，服务端接收到的数据被存入共享队列；建立服务端多进程分布式并行训练模型，各进程从共享队列中取数据用于模型训练，数据接收线程在训练的同时可以接收数据，实现训练和接收并行执行；持续进行数据传输和训练任务，直到完成指定的训练轮次或满足终止条件。本发明通过存算分离场景实现大语言模型训练和数据接收并行执行，提高训练效率，提升模型性能。

本发明授权一种存算分离场景下大语言模型GPT-2拉远训练方法在权利要求书中公布了：1.一种存算分离场景下大语言模型GPT-2拉远训练方法，包含客户端系统和服务端系统，客户端和服务端之间使用TCPIP方式建立通信连接，由台式主机作为客户端存储和发送数据，远程计算资源作为服务端承担计算任务，其特征在于，具体步骤如下： 步骤S1：客户端同服务端建立通信连接，并发送数据描述信息，所述描述信息包括训练轮次、训练批次数量和测试批次数量； 步骤S2：客户端对数据进行序列化，并通过网络传输发送至服务端，序列化的数据包括表示数据长度的前四个字节以及后续的实际训练数据； 步骤S3：服务端主进程中的数据接收线程接收序列化数据，解析前四个字节确定数据块的长度，并将数据存储于共享队列中； 步骤S4：服务端利用多进程进行模型训练，各训练进程从共享队列中提取数据块，进行分词操作后进行并行GPT-2模型训练； 步骤S5：重复执行步骤S2到步骤S4直至满足预设的训练结束条件； 步骤S6、对训练完成的GPT-2模型进行性能评估； 在步骤S4中，服务端在训练模型之前还需要建立通信连接、选择模型、创建数据接收线程和多训练进程，具体步骤包括： 步骤S41：建立通信连接，服务端监听指定端口通信连接请求，同客户端建立通信连接； 步骤S42：基于生成式预训练Transformer模型构建多进程分布式并行训练模型GPT-2，GPT-2模型包含词位置嵌入层、词嵌入层、12个重复堆叠的GPT块和层归一化层，每个GPT块包含两个层归一化层、一个注意力层和一个多层感知机，隐藏层维度为768； 步骤S43：创建多训练进程，服务端训练模型使用分布式训练方式，创建多个进程分别控制多个显卡设备执行相同的训练任务，多进程训练结束之后同时对模型参数进行更新； 步骤S44：创建数据接收线程，在服务端主进程中创建数据接收线程； 对GPT-2模型内部架构进行改进，具体为： 时空嵌入层，在GPT-2模型自带的词嵌入和位置嵌入的基础上新增基站ID嵌入和多尺度时间嵌入； 将GPT-2模型原有的注意力层改进为双流注意力层，包含时间注意力子层和空间注意力子层，并通过门控机制进行动态融合； 在双流注意力层之后新增图卷积层，捕获基站拓扑结构信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：250100 山东省济南市历城区山大南路27号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。