买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学广州研究院申请的专利一种基于深度强化学习的联邦学习方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116486192B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310223773.5，技术领域涉及：G06V10/774；该发明授权一种基于深度强化学习的联邦学习方法及系统是由杨清海;侯运阳;刘佳宜设计研发完成，并于2023-03-09向国家知识产权局提交的专利申请。

本一种基于深度强化学习的联邦学习方法及系统在说明书摘要公布了：本发明涉及一种基于深度强化学习的联邦学习方法及系统。所述方法包括步骤：对联邦学习系统的时延进行建模分析；对联邦学习系统的能耗进行建模分析；确定优化目标；构建图像分类网络和强化学习智能体网络；将节点选择问题转化为马尔可夫决策过程；对强化学习模型进行训练；使用Q网络进行联邦学习。本发明通过强化学习智能体辅助联邦学习系统选择合适的设备参与训练，并通过调节权重系数平衡通信时延和能耗之间的关系，降低了通信和能耗的成本，以解决工业物联网中存在的设备异构性和信道不稳定性问题，提高联邦学习的效率和性能。

本发明授权一种基于深度强化学习的联邦学习方法及系统在权利要求书中公布了：1.一种基于深度强化学习的联邦学习方法，其特征在于：包括如下步骤： 对联邦学习系统的时延进行建模分析； 对联邦学习系统的能耗进行建模分析； 确定优化目标； 构建图像分类网络和强化学习智能体网络； 将节点选择问题转化为马尔可夫决策过程； 训练强化学习智能体网络； 使用Q网络进行联邦学习； 其中，所述强化学习智能体网络采用DDQN强化学习算法；所述强化学习智能体网络包括所述Q网络和Target Q网络，所述Q网络和Target Q网络采用相同的网络结构； 所述对联邦学习系统的时延进行建模分析，具体包括： 计算设备在第k个通信轮次中执行模型训练消耗的时间： ； 其中，i和k为正整数，为设备的样本数量，为训练设备中一个样本需要的cpu周期数，为工作频率,本地迭代的轮次； 计算模型的传输时间： ； 其中，表示本地模型网络参数的绝对值，单位为Byte，表示设备在第k个通信轮次中的数据传输速率；结合所述模型训练消耗的时间和所述模型的传输时间，得到设备在第k个通信轮次中的本地训练时延为： ； 根据所述本地训练时延得到第k次通信过程的训练时延： ； 所述对联邦学习系统的能耗进行建模分析，具体包括： 计算设备i在第k个通信轮次执行本地训练的能量消耗； 计算设备i进行模型传输的通信功耗； 结合所述能量消耗与所述通信功耗得到设备的空闲能耗； 根据所述空闲能耗计算设备消耗的总能量； 所述优化目标表示为：其中，，，；为用于连接时延和能耗指标的非负超参数，表示决策变量，；时表示在第k个通信轮次中设备被选中参与联邦学习，时表示在第k个通信轮次中设备未被选中参与联邦学习，表示设备的通信功耗，为设备工作频率的最小值，为设备工作频率的最大值，为服务器带宽，为设备总量； 所述训练强化学习智能体网络，具体包括： 计算时序差分目标； 根据所述时序差分目标定义损失函数； 通过梯度下降法最小化损失函数以更新所述Q网络的网络参数； 所述图像分类网络为两层的MLP网络；所述图像分类网络包括图像输入层、第一线性网络、第一激活函数层、第二线性网络、第二激活函数层和全连接网络； 所述使用Q网络进行联邦学习，具体包括： 云服务器向所有参与联邦学习的边缘设备发送全局模型参数并收集联邦学习系统的状态信息； 将所述状态信息输入所述Q网络，Q网络输出Q值，所述Q值表示每个动作的价值，并将排名前k个Q值对应的设备作为当前状态下的最佳设备子集； 所述最佳设备子集使用本地数据训练所述图像分类网络以更新本地模型，然后将所述本地模型上传至所述云服务器； 所述云服务器执行模型聚合算法，以更新所述全局模型； 不断执行以上过程，直到所述全局模型达到目标精度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学广州研究院，其通讯地址为：510000 广东省广州市黄埔区中新知识城海丝中心B5、B6、B7栋；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。