买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京领雁科技股份有限公司申请的专利代码语义预训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120973373B 。

龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511065062.5，技术领域涉及：G06F8/41；该发明授权代码语义预训练方法及系统是由李鹏飞;邵伏巧;孟毅设计研发完成，并于2025-07-30向国家知识产权局提交的专利申请。

本代码语义预训练方法及系统在说明书摘要公布了：公开一种代码语义预训练方法及系统。该方法包括：对于初始样本，先将其解析为令牌序列和抽象语法树，然后以第一掩码遮挡令牌序列中的第一令牌、以高频词替换令牌序列中的第二令牌、以第二掩码遮挡抽象语法树的节点的三种操作中的至少一种进行操作，以构建任务样本；对于任务样本，采用第一编码方式和第二编码方式编码为第一特征向量和第二特征向量，并得到两者之间的对齐信息；将第一特征向量、第二特征向量和对齐信息输入给代码语义预训练网络，以执行三种任务；监测三种任务的任务损失及任务总损失，并据此优化网络中的参数和三种任务损失各自的权重。本申请实施例增强了预训练模型在理解代码语法结构和抽取语义信息方面的能力。

本发明授权代码语义预训练方法及系统在权利要求书中公布了：1.一种代码语义预训练方法，其特征在于，包括以下步骤： 对于初始样本，先将其解析为令牌序列和抽象语法树，然后以第一掩码遮挡所述令牌序列中的第一令牌、以高频词替换所述令牌序列中的第二令牌、以第二掩码遮挡所述抽象语法树的节点中的至少一种进行操作，以构建任务样本； 对于任务样本，采用第一编码方式得到第一特征向量，采用第二编码方式得到第二特征向量，并得到所述第一特征向量和所述第二特征向量之间的对齐信息； 将所述第一特征向量、所述第二特征向量和所述对齐信息输入给代码语义预训练网络，所述代码语义预训练网络包括公共编码器以及与所述公共编码器输出的耦接的掩码预测模块、替换单元判断模块和语法抽象树恢复模块，所述掩码预测模块、所述替换单元判断模块和所述语法抽象树恢复模块根据所述公共编码器输出的融合特征向量分别执行掩码预测、替换令牌判断、抽象语法树恢复的任务； 监测三种任务的任务损失及任务总损失，并据此优化所述代码语义预训练网络中的参数和所述任务总损失中的三种任务损失各自的权重， 所述公共编码器通过以下步骤生成所述融合特征向量： 计算所述第一特征向量到所述第二特征向量的交叉注意力输出以及所述第二特征向量到所述第一特征向量的交叉注意力输出； 将所述第一特征向量到所述第二特征向量的交叉注意力输出和所述第二特征向量到所述第一特征向量的交叉注意力输出进行加权融合以输出所述融合特征向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京领雁科技股份有限公司，其通讯地址为：100086 北京市海淀区大钟寺东路9号1幢B103-29；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。