买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学申请的专利基于深度强化学习的网络攻击检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116055209B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310109721.5，技术领域涉及：H04L9/40；该发明授权基于深度强化学习的网络攻击检测方法是由姚琳;田子缘;吴国伟;崔桂彰设计研发完成，并于2023-02-14向国家知识产权局提交的专利申请。

本基于深度强化学习的网络攻击检测方法在说明书摘要公布了：一种基于深度强化学习的网络攻击检测方法。对原始数据集进行预处理，再对Agent进行构造，包括初始化Agent所处环境、规定智能体与环境的交互方式、训练策略和价值函数。根据状态对特征进行选择，将选择好的特征输入到检测模型中进行预测。将检测结果作为反馈回传给智能体Agent训练模块，并计算动作的Qs，a，刷新Q表。重复直到最优特征子集中包含的特征数达到最大，即模型收敛；或训练步长完成，生成最优特征子集。针对新型特征设计的处理方法能够反映出新型特征对于入侵攻击检测的重要性，若重要则会部署新型特征的专属最优特征子集，这样一来体现了最优特征子集的灵活性，可针对不同的攻击情形自发的采取相应措施。

本发明授权基于深度强化学习的网络攻击检测方法在权利要求书中公布了：1.一种基于深度强化学习的网络攻击检测方法，其特征在于，步骤如下： 1特征选择智能体环境状态模型的构造； 环境状态模型即智能体所需要的环境，包括奖励函数的定义与交互反馈规则的设计，具体内容如下： 1.1首先使用Ut来代表第t时刻智能体获得的折扣未来累积奖励，然后考虑具体的应用背景； 折扣未来累积奖励Ut：智能体能感知环境的状态并根据环境提供的反馈信号rt，通过学习选择动作，最大化折扣未来积累奖励；通过引入折扣系数γ来减小步骤之间的强关联性，将折扣未来累积奖励Ut作为折扣未来累积奖励，其表达式为： 其中，Rt是第t时刻智能体接受的反馈，γ∈[0,1]是折扣系数，用于提升即时奖励而不是延迟奖励； 当γ接近0时，表示更重视当下的回报；当γ接近1时，表示更重视未来的回报； 1.2在定义好奖励函数后，设计智能体Agent与环境的交互反馈规则，即奖励机制； 设计一种双奖励机制，考虑的评估指标包括检测结果的准确率accuracy、精确率precision、召回率recall以及模型的运行时间time，并设计如下的奖励公式： 其中，ω表示衡量对应评估指标的权重矩阵，用来衡量各评估指标的重要性、设置偏好程度以及优先级；R表示奖励矩阵，每个评估指标对应一个奖励分量；r_a表示准确率的反馈，r_p表示精确率的反馈，r_r表示召回率的反馈，r_t表示运行时间的反馈； 在每一次迭代时，把新选择的特征添加到已选择的特征集，如果智能体使用新特征集训练出来的指标有所降低，那么就把新特征的reward设置为-100；如果各项指标有所提升，首先记录提升过后的各项检测指标对应的反馈，即准确率r_a、精确率r_p、召回率r_r、运行时间r_t，然后根据各项指标对应的权值计算新的reward； 2特征选择智能体价值函数的构造； 价值函数是奖励的期望，用于评价不同状态的好坏，指导智能体动作的选择，还用价值函数来评估智能体在某时间t状态s的好坏程度，具体内容如下： 2.1首先计算价值函数Qs,a，用于评估当前智能体从状态s开始，执行动作a且服从策略ε的期望返回，公式如下： Qπs,a＝Eπ[Ut|St＝s,At＝a] 其中，St表示第t时刻智能体所处状态，At表示第t时刻智能体执行的动作，智能体的训练策略π； 在获取到当前状态s对应的所有可能动作a的价值，结合训练策略，智能体需要选择最优动作，即基于策略策略π，在所有的Qs,a中取最大值，这便是动作at的决策过程，公式如下： 其中，Q*st,at是第t个时刻所有动作的最大价值； 2.2经过价值函数的构造，智能体根据既定的策略，对当前状态所有可能的动作进行有规律的选取；因此，对策略进行定义，具体内容如下： 选用贪心策略，其表示在智能体做决策时，存在∈的概率随机选择未知的一个动作，0∈1，剩下的1-∈的概率选择已有动作中价值最大的动作；当智能体选取某特征并最终将其加入到最优特征集后，需要将其从动作空间中移除或重置其Q值，也就是说，将选取该特征的动作对应的Q值尽可能大的降低，保证该特征在后续的训练中尽可能不会被选择。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市甘井子区凌工路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。