Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 东北大学王千阁获国家专利权

东北大学王千阁获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉东北大学申请的专利一种支持跨节点自动微分的分布式图神经网络训练方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115186806B

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210394310.0,技术领域涉及:G06N3/042;该发明授权一种支持跨节点自动微分的分布式图神经网络训练方法是由王千阁;陈朝亿;高德超;张岩峰设计研发完成,并于2022-04-06向国家知识产权局提交的专利申请。

一种支持跨节点自动微分的分布式图神经网络训练方法在说明书摘要公布了:本发明提供了一种支持跨节点自动微分的分布式图神经网络训练方法,涉及分布式计算和深度学习领域;将图神经网络训练过程解耦成通信与计算两部分,并根据图神经网络正向和反向的计算特性,在正向计算中,每个节点从集群中收集邻居节点的信息,产生的中间变量将被缓存并用于反向计算中;在反向计算中,每个点基于前向传播的结果计算邻居节点的梯度并将结果发送给其邻居即本地或者远程机器;本发明解耦了通信与计算,并根据图神经网络正向和反向的计算特性,设计实现了synchronize‑compute和compute‑synchronize双模式计算引擎来灵活支持正向反向的计算,大大减小了设计难度,使用master‑mirror同步机制来支持高效的节点属性通信。

本发明授权一种支持跨节点自动微分的分布式图神经网络训练方法在权利要求书中公布了:1.一种支持跨节点自动微分的分布式图神经网络训练方法,其特征在于,具体包括以下步骤: 步骤1:对分布式图神经网络进行正向训练; 步骤2:对分布式图神经网络进行反向训练; 步骤3:对分布式图神经网络进行正向传播和反向传播训练后代表一轮训练结束;轮数由用户根据想要达到精度的不同而决定; 其中,所述步骤1具体为: 步骤1.1:首先对用户提供的图数据使用图划分方法MEITS进行划分,划分一部分点及其入边给每一个机器; 步骤1.2:每个机器基于划分后的图数据,建立master-mirror机制; 步骤1.3:对图神经网络正向训练的训练过程进行分析、解耦、训练;使用synchronize-compute引擎执行图计算,现有深度学习库执行神经网络计算; 步骤1.4:步骤1.3为一层图神经网络的正向训练过程,每一层的图神经网络的正向训练逻辑都相同;模型有N层,正向训练完成之后得到第N层的节点表示; 步骤1.5:基于第N层的节点表示和数据集提供的真实的节点表示,使用损失函数L得到损失值Loss;该部分使用现有的深度学习库PyTorch、Tensorflow、MindSpore完成;接下来基于损失函数L和损失值Loss进行反向训练; 其中,所述步骤1.2具体为: 步骤1.2.1:每个机器将划分到的节点表示为master点即主节点,每个机器负责执行master节点的计算; 步骤1.2.2:这些master点即主节点在其他机器中作为源点体现边关系的称为mirror点即镜像点,一个master点为其他多个机器的镜像点; 其中,所述步骤1.3具体为: 步骤1.3.1:图神经网络每一层的每一个节点正向计算的公式为: 1 其中,、分别表示第i层和第i+1层节点v的嵌入值;表示节点v的邻居节点,表示节点v的邻居节点u的节点表示;表示第i+1层的可学习参数;表示引入非线性变换的函数;表示第i+1层结合邻居节点和自身节点的嵌入值的计算方式;表示第i+1层聚合计算; 步骤1.3.2:基于步骤1.3.1正向传播计算公式,进一步将其解耦为图传播计算和神经网络计算两部分: 2 3 其中,表示第i+1层经过图传播计算后得到的节点v的聚合的邻居表示; 步骤1.3.3:使用synchronize-compute模式计算引擎对图数据中的每个节点按照解耦后的图传播计算部分即公式2执行计算;其中,synchronize表示对一个节点的主备份和镜像备份的值进行同步,compute表示对节点执行计算; 步骤1.3.3.1:首先进行synchronize;每个mirror节点即镜像节点进行节点嵌入的同步,从它的master节点,即对应的远程的主节点所在的机器拉取最新的节点嵌入值; 步骤1.3.3.2:然后进行compute;master节点计算所依赖的所有数据都通过sychronzie通信缓存到了本地,master节点在本地根据图结构进行计算,即拉取它的入邻居的节点嵌入值执行计算,得到邻居表示; 步骤1.3.4:使用现有的深度学习库PyTorch、Tensorflow、MindSpore按照解耦后的神经网络计算部分即公式3执行计算得到节点的下一层嵌入值。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东北大学,其通讯地址为:110819 辽宁省沈阳市和平区文化路三号巷11号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。