买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉沈阳理工大学申请的专利一种基于深度强化学习的僵尸网络流量检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116541762B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310518615.2，技术领域涉及：G06F18/241；该发明授权一种基于深度强化学习的僵尸网络流量检测方法是由赵运弢;冯永新;胡玉涛设计研发完成，并于2023-05-08向国家知识产权局提交的专利申请。

本一种基于深度强化学习的僵尸网络流量检测方法在说明书摘要公布了：本发明设计一种基于深度强化学习的僵尸网络流量检测方法，基于机器学习中的OneR分类器以及深度强化学习的深度Q网络构建了一种智能OneR‑DQN检测模型，面向现有的僵尸网络流量数据集；首先将数据集进行合并、数据预处理、保留可以用来分类及训练的特征；其次，使用OneR分类器对数据集中的各类特征进行逐一测试判断，采集合适的特征交予DQN模型进行训练；最后，利用DQN特有的经验池机制不断抽取独立经验与训练样本进行交叉训练，从而提高检测的准确率；本发明使用的CIC‑IDS2017、CIC‑DoS2017、CIC‑IDS2018、CIC‑DDoS2019四个CIC数据集的混合数据集，对本发明构建的检测模型进行了验证试验，结果表明本发明构建模型的准确率为99.08％，实现面向僵尸网络流量的人工智能自动识别和判断。

本发明授权一种基于深度强化学习的僵尸网络流量检测方法在权利要求书中公布了：1.一种基于深度强化学习的僵尸网络流量检测方法，其特征在于，具体为以下步骤： 步骤1：获取僵尸网络流量数据集，对其进行预处理，得到划分为训练集和验证集的具有浮点型float特征的僵尸网络流量数据集； 步骤2：基于步骤1，使用机器学习的OneR分类器对训练集进行特征分类，筛选出用于DQN模型进行训练的特征； 步骤3：构建基于深度强化学习的DQN算法检测模型，结合步骤2，得到最终的智能OneR-DQN检测模型，并使用验证集对其进行验证； 所述DQN算法检测模型是由智能体Agent、模型Model、经验池ReplayMemory以及DQN算法四个大类组成的； 步骤4：将不同的僵尸网络数据集按步骤1进行数据预处理后，输入步骤2和步骤3组成的智能OneR-DQN检测模型，得到攻击检测判断结果； 步骤2具体为： 步骤2.1：分离自变量xs和因变量y；输入的target不是列表，那么自变量就是除了target之外的所有列，如果target是列表，那么自变量就是除了target中包含的列之外的所有列； 步骤2.2：使用机器学习的决策树分类器作为OneR分类器的核心，具体为： 其中，决策树深度为1层，采用基尼系数作为评估决策树分类器在构建过程中每个节点的标准；然后对训练集进行拟合，再对训练集进行各种特征的能力预测，使用预测函数： 根据上式计算预测结果与真实标签之间的评估指标值，如果大于0.5，保存这个特征的特征名、指标值和训练集预测结果； 步骤2.4：根据评估指标值筛选出具有直接区分能力的特征，具体为roc_auc_score0.5，然后将这些特征对训练集的测试结果取平均值，得到一个整体预测结果向量；计算训练集上整体预测结果与真实标签之间的ROC曲线参数；ROC计算方法为： 其中，TPR是真阳率，即预测正确的概率，FPR是假阳率，即预测错误的概率；最后将获得的ROC曲线图用Matplotlib库生成图像，根据ROC曲线和x坐标轴围成的面积，即AUC分数的大小来判别表现最优的特征； 步骤3具体为： 步骤3.1：构建Model类，作为输入数据的处理层； 构建一个三层全连接前向神经网络，其中第一层和第二层使用ReLU激活函数，最后一层输出维度为动作空间，不使用激活函数；定义value函数，输出所有动作action对应的Q值[Qs,a1,Qs,a2,Qs,a3…]；其中，Q表示状态，包含了环境s和动作a；Qs,a1表示在这一步中的操作中，模型获得的reward奖励值，将其写成数列形式； 步骤3.2：构建DQN算法类，定义模型如何对输入的特征进行判断，分辨所属流量是否异 常；引用model类的前向网络，定义DQN所特有的因子作为奖励值reward的衰减因子，设定 学习率LR让DQN不断地朝最优解方向进行迭代学习；之后定义预测predict、学习learn和同 步模型sync_target三个函数；在每次预测后，模型都会获得反馈并进行调整，最大化Q值； DQN的Q值计算方法为： 其中，maxQ表示预测时动作的最大Q值；为衰减因子；表示Q值的reward值，表示 损失函数，w是神经网络训练过程中调整的参数； DQN的损失函数计算方法为： 其中，表示状态，表示动作，表示即时回报，表示下一个状态，表示第i次迭代时 神经网络的参数，表示当前状态下采取动作的Q值函数，表示从经验回放 池中均匀采样的经验集合，D则是代表了经验池本身，表示目标Q值，其计算方式为： 其中，衰减因子用来衡量即时回报对未来回报的影响程度，所在的网络被称为目 标网络；通过计算损失函数，使模型不断地寻找最优解；DQN使用了奖励机制、经验回放和目 标网络技术； 之后不断地更新Q参数，使得接近，利用梯度下降做更新工作，循环往复直至 收敛； 步骤3.3：构建Agent类，负责智能体的决策过程；定义-greed贪婪值，使智能体以一定 的概率随机选取动作进行探索；同时贪婪值不断降低，让训练逐步收敛；在上层的DQN进行 预测后，Agent获取输入值，并搭建计算图用于预测动作和更新Q网络，接着定义sample函数 用来确定是返回随机操作还是返回Agent预测的操作；定义predict函数，选择最大Q值作为 最优动作；最后定义feed函数，记录所有获取的值，并将不同的变量类型统一强制转化为浮 点型float； 步骤3.4：构建ReplayMemory类用于存放Agent使用过的数据，并将这些数据再次与未训练的数据交叉传回DQN算法和Agent类进行再次判断； 经验回放操作构建的ReplayMemory经验池存储n条Agent判断后得到的经验，只有在经验池装满后才会把旧的数据丢弃，存储的内容为： 其中，st,at,rt,st+1代表智能体在环境中执行动作的一组元组，而这些元组被用于训练DQN模型，以预测在给定状态下采取某个选择的Q值；在训练中随机地从经验池中选出一批经验[st,at,rt,st+1……sm,am,rm,sm+1]，消除数据间的相关性； 步骤3.5：定义训练周期和评估每次agent操作后所得到的reward值，并根据每一步得到的结果观察训练情况；待模型达到训练迭代次数或满足训练准确率要求后，智能OneR-DQN检测模型训练完毕；将验证集放入训练好的模型，对模型进行验证，并生成智能OneR-DQN检测模型判断能力的记录。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人沈阳理工大学，其通讯地址为：110159 辽宁省沈阳市浑南新区南屏中路6号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。