买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利一种基于强化学习的RIS部署与波束赋形联合优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119210529B 。

龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411324367.9，技术领域涉及：H04B7/04；该发明授权一种基于强化学习的RIS部署与波束赋形联合优化方法是由金石;金惟杰;张静;温朝凯;李潇设计研发完成，并于2024-09-23向国家知识产权局提交的专利申请。

本一种基于强化学习的RIS部署与波束赋形联合优化方法在说明书摘要公布了：本发明公开一种基于强化学习的RIS部署与波束赋形联合优化方法，包括：部署前，初始化强化学习的经验回放内存、训练子网参数、目标子网参数；每次传输开始时，初始化RIS的被动波束赋形向量，重置RIS的位置；进行信道估计，获得智能体初始状态；每帧传输中，使用学习动作子网估计各个动作的Q值；依据Q值选择动作；依据动作调整RIS部署位置和波束赋形向量；估计信道并更新智能体状态；计算主动波束赋形向量，计算智能体的奖励；将经验存储在回放内存中；对网络训练时，从回放内存中抽取经验，对训练动作子网进行更新，在每帧传输结束时，对目标动作子网进行软更新。本发明充分挖掘了对RIS部署和波束赋形进行联合设计的潜力，性能良好，自适应能力强。

本发明授权一种基于强化学习的RIS部署与波束赋形联合优化方法在权利要求书中公布了：1.一种基于强化学习的RIS部署与波束赋形联合优化方法，其特征在于，该方法包括以下步骤： 1随机初始化强化学习的经验回放内存、训练子网参数、目标子网参数； 2随机初始化RIS的被动波束赋形向量并重置空中RIS的位置；估计结合信道；初始化训练子网的状态； 3迭代时，使用训练子网依据当前状态生成相应的动作，计算奖励并更新智能体状态；将经验存储在经验回放内存中； 4从经验回放内存中抽取一批经验，通过最小化损失函数对训练子网进行更新，在每轮训练结束时对目标子网进行更新； 步骤3具体包括： 3.1在第t时刻的传输帧，通过训练子网估计Q值为Qπst,a；θtrain，Qπst,a；θtrain代表训练子网参数为θtrain时估计状态st和动作a的Q值，其中 上标t表示变量在第t时刻的传输帧的取值，表示第K个用户节点的结合信道，分别表示第t时刻的传输帧中第1、2……L个RIS子阵列的波束赋形向量；动作a包含两部分，分别对应于RIS部署位置调整的动作空间和RIS波束赋形调整的动作空间整体动作空间表示为 3.2依据估计的各个动作的Q值进行动作选取，对RIS部署位置lR和波束赋形向量φl进行调整，记为 其中为RIS位置的调整量，在对应于RIS部署位置调整的动作空间中选取，为第l个RIS子阵列波束赋形向量的调整量，在对应于RIS波束赋形调整的动作空间中选取； 3.3基站估计结合信道获得智能体的状态st+1；接着利用迫零算法计算基站波束赋形向量W＝HHHHH-1，并计算奖励 其中是第t时刻的传输帧的加权可达速率和，Rc0用于调整奖励范围以实现更稳定的训练，是RIS位于可行位置集之外时的额外惩罚，表示RIS可能的位置集； 3.4将经验st,at,rt,st+1存储到经验回放内存中，用于后续的训练；at是t时刻从动作空间所选取的动作，包含和两部分； 步骤3.1中训练子网的网络架构具体包括： 训练子网的结构采用GNN作为基本框架，包含K个用户节点和1个RIS节点；第k个用户节点的输入为 和分别代表取变量的实部和虚部，RIS节点的输入为GNN结构包括输入层、更新层和输出层，具体如下： 输入层：对于用户节点，输入层表示为 其中是具有Swish激活函数的单层全连接神经网络，将变量从2M维的实数空间映射到8M维的实数空间，表示2M维的实数空间； 对于RIS节点 φ1＝fφ,inφ0, 其中是具有Swish激活函数的单层全连接神经网络，将变量从L维的实数空间映射到16L维的实数空间； 更新层：对于用户节点，第k个节点的更新公式为 其中max·表示逐元素最大池化；表示除第k个用户节点外的用户节点集合；函数 和是具有ReLU激活函数的单层全连接神经网络；RIS节点的更新公式为 其中mean·表示逐元素平均池化，表示用户节点集合；函数 和也是具有ReLU激活函数的单层全连接神经网络； 输出层：用户节点的输出为 其中为Dueling结构，使用两个双层全连接网络分别估计状态值函数和状态相关的动作优势函数，然后将它们的输出相加以得出估计的Q值；RIS节点的输出为φI+2＝fφ,outφI+1, 其中是Dueling结构，输出针对波束赋形调整的Q值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：211189 江苏省南京市江宁区东南大学路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。