买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉同济大学申请的专利一种基于最大熵内在奖励的无监督技能学习系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117010475B 。

龙图腾网通过国家知识产权局官网在2025-11-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310983240.7，技术领域涉及：G06N3/092；该发明授权一种基于最大熵内在奖励的无监督技能学习系统是由尤鸣宇;钱智丰;何斌;周洪钧设计研发完成，并于2023-08-07向国家知识产权局提交的专利申请。

本一种基于最大熵内在奖励的无监督技能学习系统在说明书摘要公布了：本发明提供一种基于最大熵内在奖励的无监督技能学习系统，属于机器人自主动作学习技术领域，提出了一个多物体表征学习模型，能够以无监督的方式，将场景中的物体从图像的背景中解耦开，得到紧凑的多物体表征；构建一个以物体为中心的最大熵内在奖励函数，来衡量探索样本集的整体信息熵，通过内在奖励进行任务无关的强化学习训练，从而学习到一个机器人高效探索策略，驱动机器人在环境中探索尽可能新的样本；利用预训练的多物体表征学习模型和机器人探索策略，作为下游特定任务学习的感知模型和控制模型的初始化，能够显著提升下游任务的学习效率和学习效果。

本发明授权一种基于最大熵内在奖励的无监督技能学习系统在权利要求书中公布了：1.一种基于最大熵内在奖励的无监督技能学习系统，其特征在于，包括如下步骤： S1：搭建机器人虚拟仿真环境，通过随机探索策略控制机器人与环境进行交互，交互后得到交互数据； S2：将交互数据存入经验放池内，使用经验回放池中的数据训练多物体表征学习模型，所述多物体表征学习模型无监督地从不同背景的图像观察中学习到多个物体的结构化表征； S3：基于学习的多物体表征，计算基于多物体表征的最大熵内在奖励函数，通过最大熵内在奖励函数计算当前观察表征与经验回放池中的k个最近邻观察表征的距离，进而估算整个经验回放池的信息熵； S4：将整个经验回放池的信息熵作为内在奖励函数，通过最大化该内在奖励函数训练机器人探索策略，并鼓励机器人与环境中的多物体进行交互，得到交互样本，通过交互样本进一步训练多物体表征学习模型； S5：基于所述多物体表征学习模型和预训练的机器人探索策略，通过下游任务的外在奖励函数进行特定技能的强化学习，从而提升策略学习的样本效率和学习结果； 所述S3中，所述最大熵内在奖励函数用于估计整个经验回放池的信息熵，具体为：基于粒子的估计方式，将每个交互样本作为一个粒子，计算每个粒子与整个经验回放池中k个最近邻粒子的平均距离作为该经验回放池的整体信息熵，从而量化所收集的交互样本的多样性，所述整体信息熵表示为： ； 其中，bk为依赖于超参数k的修正项；是第i个粒子与其第k的最近邻粒子之间的空间距离，表示为： ； 整体信息熵正比于每个例子与其k个最近邻粒子之间的距离，则，信息熵表示为： ； 其中，为一个常数；为当前物体表征zi的个最近邻粒子；为欧式距离。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。