买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学申请的专利一种基于动态图通信的多智能体强化学习协同方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116306966B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310114762.3，技术领域涉及：G06N20/00；该发明授权一种基于动态图通信的多智能体强化学习协同方法是由李奇峰;葛宏伟设计研发完成，并于2023-02-15向国家知识产权局提交的专利申请。

本一种基于动态图通信的多智能体强化学习协同方法在说明书摘要公布了：本发明属于人工智能与多智能体协同领域，涉及一种基于动态图通信的多智能体强化学习协同方法。针对已有方法通信开销大，难以满足现实应用需求，以及难以学习到高级合作策略的问题，本发明旨在在符合更加现实的受限通信条件下，实现有效的通信，从而促进智能体间的合作，学习到高级的合作策略。包括以下步骤：动态通信图建立；通信权重自适应生成；智能体间实时通信；智能体进行动作价值估计；超网络进行智能体间信用分配；利用时序差分损失进行参数更新；在验证环境中进行应用。通过本发明在较小通信开销的前提下，使得模型可以自适应地进行有效的通信，并显著地提升智能体间的合作性能，同时具有更高的可拓展性，可广泛应用于多智能体协同领域。

本发明授权一种基于动态图通信的多智能体强化学习协同方法在权利要求书中公布了：1.一种基于动态图通信的多智能体强化学习协同方法，其特征在于，包括以下步骤： 步骤1：根据环境和智能体系统的通信限制条件，实时提取智能体通信域内的可通信智能体，建立通信图；具体如下： 根据交互环境中的通信限制下的通信域建立通信图其中表示通信图，表示智能体集合，w表示通信图各边权重并初始化为0，ε为通信图的边集合；通信图建立的过程为，若智能体j∈di，其中di为智能体i的受限通信域； 步骤2：根据步骤1的通信图，将智能体本地的观测信息编码，并基于其和相应的权重生成器生成通信图的权重以控制智能体间通信的程度；具体如下： 利用编码网络将智能体i的本地观测信息oj编码为观测编码ej，再根据权重生成器生成通信图各边的权重； 若使用可学习的权重生成器，首先使用一个线性变换W，将观测编码映射至高维空间以增强网络表达能力，随后利用一单层非线性网络将相应的可通信智能体两两之间计算通信系数cij： 其中a·表示单层的非线性网络，表示相连拼接操作，ei和ej分别表示任意可通信的智能体i和智能体j，最后对每一个智能体的所有可通信智能体的权重进行softmax归一化以确保可拓展性： 其中wij表示智能体i和智能体j之间的通信权重，LeakyReLU表示非线性激活函数，exp·表示指数符号； 若使用相似性度量的权重生成器，则将非线性网络a·替换为内积相似性度量： 其中F为一线性嵌入操作，可将观测编码映射至高维空间； 步骤3：基于步骤2的通信图的权重和步骤1的通信图进行智能体间的观测信息编码的通信；具体如下： 生成智能体的通信消息： 其中mi表示智能体i在当前时刻获取的通信消息； 步骤4：每个智能体根据本地交互数据和通信消息以及历史信息利用动作价值估计网络来完成个体动作价值估计；具体如下： 根据步骤3获得的通信消息与智能体的本地观测数据和历史数据，生成当前时刻的信息表征 其中GRU·表示门控循环单元循环神经网络，和分别表示当前t时刻智能体i的观测信息和通信消息，表示智能体历史信息；动作价值估计网络再基于信息表征进行动作价值估计： Qia＝Qia|ei,mi,hi；θ6 其中a表示智能体i的可选动作，θ表示智能体的动作价值估计网络的参数； 步骤5：超网络将所有的步骤4生成的动作价值估计汇总，并基于全局信息完成智能体系统联合动作价值估计；具体如下： Qtota＝mixings,Q1τ1,a1,…,Qnτn,an7 其中s表示智能体系统的整体状态，Qtot表示联合动作的价值估计，a表示智能体系统的联合动作，mixing·表示超网络； 步骤6：根据联合动作与环境的交互获取的奖励值，对超网络进行参数更新，再将奖励的信度分配值反向传播至各个智能体的动作价值估计网络中并更新其网络参数；具体如下： 根据步骤5获得的联合动作价值估计与实际获取奖励之间的偏差，计算时序差分损失 其中表示对缓存区求期望，φ,ξ,θ,ψ分别表示观测编码网络、权重生成器、动作价值估计网络以及超网络的参数，s′表示下一时刻状态，a′表示下一时刻的联合动作价值估计，表示动作价值估计网络的目标网络，γ表示折扣系数； 步骤7：重复步骤1至步骤6至各个智能体动作价值估计网络、通信权重生成器和超网络收敛或到达指定训练步数，去除超网络并将最终的通信权重生成器和各个智能体动作价值估计网络应用至交互环境中进行智能体系统决策。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市甘井子区凌工路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。