买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利一种基于Adapter网络和对比学习的代码预训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120029600B 。

龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411961870.5，技术领域涉及：G06F8/30；该发明授权一种基于Adapter网络和对比学习的代码预训练方法是由蔡毅;曹柳文;王梦真;黄思宏;梁达勇设计研发完成，并于2024-12-30向国家知识产权局提交的专利申请。

本一种基于Adapter网络和对比学习的代码预训练方法在说明书摘要公布了：本发明公开了一种基于Adapter网络和对比学习的代码预训练方法，该方法包括下述步骤：构建基于Adapter网络的代码预训练模型，获取代码语料中训练实例xdd，训练基于Adapter网络的代码预训练模型，得到带有不同编程语言知识的Adapter网络；构建低资源编程语言模型；获取代码语料中的实例xcc，分别构建对应的正例和负例，采用分类代价和对比学习代价联合训练低资源编程语言模型；训练得到最终的代码预训练模型，基于最终的代码预训练模型输出代码预训练结果。本发明能够在预训练多种编程语言的代码语料的同时减少已有知识的灾难性遗忘的问题，并支持新编程语言的训练，并且能够增强低资源编程语言下的模型能力。

本发明授权一种基于Adapter网络和对比学习的代码预训练方法在权利要求书中公布了：1.一种基于Adapter网络和对比学习的代码预训练方法，其特征在于，包括下述步骤： 构建基于Adapter网络的代码预训练模型，包括：多个Transformer层、不同编程语言对应的Adapter网络、融合层和分类层，多个Transformer层学习编程语言的通用知识，Adapter网络学习当前编程语言的领域知识，融合层融合通用知识和不同编程语言的领域知识，分类层计算掩码语言的预测结果； 根据编程语言的代码语料的数量情况，对于不同编程语言，Adapter网络设置不同的Adapter层数； 获取代码语料中训练实例xd，训练基于Adapter网络的代码预训练模型，得到带有不同编程语言知识的Adapter网络，具体包括： Transformer层基于代码预训练模型CodeBERT的参数进行初始化； 给定编程语言p和实例xd的初始语义矩阵表示和代码预训练模型CodeBERT的第1个Transformer层的输出Adapter网络按如下方式进行变换： 其中，FFN1、FFN2和分别表示第1个、第2个和第Np个Adapter层中的多层前馈神经网络，分别为第1个、第2个和第Np个Adapter层中的Transformer层，和分别为第1个、第2个和第Np个Adapter层的输出，[]表示矩阵拼接操作； 构建低资源编程语言模型，包括输入层、编码层、池化层和分类层，输入层输入代码语料中的实例，编码层计算代码语料中的实例的语义表示，编码层由预训练好的对应编程语言知识的Adapter网络初始化，池化层计算实例的语义向量表示，分类层计算对于遮盖的词的预测结果； 所述编码层计算代码语料中的实例的语义表示，具体表示为： Hc＝Adapterpxc其中，Hc、和分别为实例xc、正例和负例的语义矩阵表示，矩阵中的每一列对应于实例中的一个词，Adapterp表示编码层； 获取代码语料中的实例xc，分别构建对应的正例和负例，采用分类代价和对比学习代价联合训练低资源编程语言模型； 对于正例的构建，基于语义不变性规则对代码进行数据增强，首先抽取代码的抽象句法树，对抽象句法树中的某个变量进行随机命名，并将整段代码中其他位置与之对应的变量也进行同样的命名，对循环语句进行重写； 训练得到最终的代码预训练模型，基于最终的代码预训练模型输出代码预训练结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。