买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉大学申请的专利基于变换器的双向编码器表示的序列推荐方法及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115757865B 。

龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211359879.X，技术领域涉及：G06F16/735；该发明授权基于变换器的双向编码器表示的序列推荐方法及设备是由胡瑞敏;黄娜娜;王晓晨;彭潇然;李杰;潘昊;乔阳阳设计研发完成，并于2022-11-02向国家知识产权局提交的专利申请。

本基于变换器的双向编码器表示的序列推荐方法及设备在说明书摘要公布了：本发明提供了一种基于变换器的双向编码器表示的序列推荐方法及设备。所述方法包括：步骤1：采用基于自注意力机制的双向编码器来捕获用户历史行为序列中项目的双向依赖关系和项目的共现特性；步骤2：采用步骤1中得到的项目的双向依赖关系和共现特性关系，在预训练阶段，针对数据稀疏导致的正负样本比例悬殊，采用双向编码器的掩码语言模型以自监督的方式训练模型；步骤3：将步骤2中的模型训练参数，在微调阶段采用用户历史行为序列数据训练网络，确保目标物品标签均衡。本发明能够很好的缓解系统冷启动问题，有效提高目标平台的推荐性能。

本发明授权基于变换器的双向编码器表示的序列推荐方法及设备在权利要求书中公布了：1.一种基于变换器的双向编码器表示的序列推荐方法，其特征在于，包括：步骤1：采用基于自注意力机制的双向编码器来捕获用户历史行为序列中项目的双向依赖关系和项目的共现特性；步骤2：采用步骤1中得到的项目的双向依赖关系和共现特性关系，在预训练阶段，针对数据稀疏导致的正负样本比例悬殊，采用双向编码器的掩码语言模型以自监督的方式训练模型；步骤3：将步骤2中的模型训练参数，在微调阶段采用用户历史行为序列数据训练网络，确保目标物品标签均衡； 步骤1具体包括：步骤1.1：在输入层，准备好视频的初始表征，将其送入到序列编码器，模型的序列编码器是由多个自注意力层堆叠而成，得到用户行为序列中视频的初始嵌入向量表征；在步骤1.1中，采用元素相加形成视频的初始嵌入表征向量，计算包括： 其中，表示位置嵌入向量，表示视频的特征向量，得到用户行为序列s的初始表征向量，，其中,，设定一个长度为L的用户行为序列，通过将用户行为序列中第i个视频转换到一个相对低维度的空间，转换为一个d维向量； 步骤1.2：基于步骤1.1得到的用户行为序列中视频的初始嵌入向量表征，在序列编码层，用序列编码器来初始化对应部分的参数，无需重头开始训练，得到模型对应的部分参数；步骤1.2包括子步骤：步骤1.2.1：多头注意力机制并行地应用缩放点积乘注意力机制多次，独立的注意力机制输出被串联起来，并被线性转化为预期的维度，得到线性映射下不同空间向量表征；步骤1.2.2：基于步骤1.2.1得到线性映射下不同空间向量表征，为确保模型具有非线性表达能力，以及不同维度的特征进行交互，对序列表征中的每一条视频的表征应用的位置前馈层是相同的，得到位置前馈网络的表征；步骤1.2.3：基于步骤1.2.2得到位置前馈网络的表征，通过多层变换器堆叠来考虑捕捉更加复杂的双向依赖关系，得到隐层视频嵌入向量表征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉大学，其通讯地址为：430072 湖北省武汉市武昌区珞珈山武汉大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。