江苏开放大学(江苏城市职业学院)殷杰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江苏开放大学(江苏城市职业学院)申请的专利基于DSAC-T算法的软体机器人控制方法与系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121424408B 。
龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202512035192.0,技术领域涉及:B25J9/16;该发明授权基于DSAC-T算法的软体机器人控制方法与系统是由殷杰;胡雪;沈君豪;李卓阳;苑永起设计研发完成,并于2025-12-31向国家知识产权局提交的专利申请。
本基于DSAC-T算法的软体机器人控制方法与系统在说明书摘要公布了:本发明公开了基于DSAC‑T算法的软体机器人控制方法与系统,包括:对软体机器人进行力学建模,通过在软体机器人上等距设置力矩控制点,驱动软体机器人弯曲和扭转;动态生成目标小球轨迹,实时采集软体机器人的状态空间数据;基于DSAC‑T强化学习算法,构建软体机器人控制模型,以软体机器人的状态空间为输入,以软体机器人的动作空间为输出,并建立奖励函数,通过与环境不断交互,对软体机器人控制模型进行训练;将训练好的网络参数,应用软体机器人控制模型,完成软体机器人的目标跟踪控制;相应设计实现本方法的系统,本发明所设计的方法与系统具备高稳定性、强鲁棒性和良好泛化能力,可实现软体机器人在复杂任务中的高效控制。
本发明授权基于DSAC-T算法的软体机器人控制方法与系统在权利要求书中公布了:1.基于DSAC-T算法的软体机器人控制方法,其特征在于,针对由多个杆状等距节构成的软体机器人,执行如下步骤S1-步骤S4,完成软体机器人的动作控制: 步骤S1:对软体机器人进行力学建模,在软体机器人上设置多个力与力矩的控制点,控制点位置包含位于软体机器人基座的首端、软体机器人手臂尖端的末端,其他位置根据控制点的数量等距设置,驱动软体机器人在三维空间中实现弯曲和扭动; 步骤S2:生成三维的目标小球,以目标小球作为软体机器人追踪动作的目标,动态生成目标小球的轨迹,目标小球起始位置和速度固定,沿着随机方向以固定速度运行,以预设时间间隔更换方向; 步骤S3:实时采集软体机器人的状态,构建软体机器人的状态空间,追踪目标小球运动;基于DSAC-T算法,构建软体机器人控制模型,以软体机器人的状态空间为输入,以软体机器人的动作空间为输出,并建立奖励函数,对软体机器人控制模型进行训练; 步骤S3具体步骤如下: 步骤S3.1:实时采集软体机器人的状态,构建软体机器人的状态空间,软体机器人的状态包括:各个等距节的空间坐标、末端点速度和方向、目标位置,目标速度和方向; 步骤S3.2:基于DSAC-T算法,构建软体机器人控制模型,包括: 演员网络,结构为2层全连接隐藏层的MLP网络,将输入状态和输出动作作为高斯分布参数,生成随机策略;输出动作包括软体机器人的6个控制点分别沿着法线的力矩和副法线的力矩; 双评论家网络,结构为两个独立的2层全连接隐藏层的MLP网络,输入状态和动作,两个MLP网络分别输出价值分布,均包括均值和标准差; 目标网络,结构与双评论家网络结构一致,设置软更新率,通过软更新跟踪双评论家网络参数; 步骤S3.3:采集经验样本,存入经验回放缓冲区,其中经验样本包括状态空间、执行的动作、奖励值; 步骤S3.4:对双评论家网络进行更新,基于下一状态和目标策略,生成目标Q值: ; 其中,为折扣因子,为温度系数,表示奖励值;表示目标Q值,表示价值分布的均值,表示下一状态,表示下一动作,表示策略分布,表示在状态下采取动作的概率; 针对双评论家网络输出的两个价值分布,选择其中均值较小的价值分布,计算其与目标分布的KL散度损失;并根据价值分布的标准差,用3规则动态设置梯度剪辑边界; 步骤S3.5:根据下式对演员网络进行更新: ; 式中,表示数学期望,表示温度系数;表示当前状态,表示当前动作;通过梯度上升更新策略参数,目标为最大化熵增Q值;、分别为双评论家网络所输出的两个价值分布的均值,表示表示在状态下采取动作的概率; 对温度系数进行调整,将目标熵设为动作维度,通过梯度下降优化温度系数,使实际策略熵接近目标熵; 步骤S3中所建立的奖励函数如下式: ; 其中,表示奖励函数,表示软体机器人手臂尖端和目标位置之间的L2范数距离,即,其中为软体机器人手臂末端位置,为目标位置;是预设的奖励范围距离;表示惩罚项;表示当前动作,表示动作的平方和,表示动作i,0.01是动作平滑惩罚系数; 步骤S4:将训练好的软体机器人网络参数,应用于软体机器人控制模型,完成软体机器人的动作控制。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江苏开放大学(江苏城市职业学院),其通讯地址为:210036 江苏省南京市鼓楼区江东北路399号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励