买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利基于预训练语言模型的提示学习小样本分类方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116415170B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310270334.X，技术领域涉及：G06F18/24；该发明授权基于预训练语言模型的提示学习小样本分类方法、系统、设备及介质是由朱金辉;曹庭锋;张梅设计研发完成，并于2023-03-20向国家知识产权局提交的专利申请。

本基于预训练语言模型的提示学习小样本分类方法、系统、设备及介质在说明书摘要公布了：本发明公开了一种基于预训练语言模型的提示学习小样本分类方法、系统、设备及介质，方法包括下述步骤，根据预先设立的提示模板预处理数据样本；将预处理后的数据样本输入到预训练语言模型中，获取遮蔽处的标签词预测概率，利用所述标签词预测概率计算校准参数；构建分类模型并进行训练，所述分类模型是将传统的微调方法和提示学习结合起来，构建新的模型来充分学习下游任务知识并且利用预训练学习到的知识；训练时使用交叉熵损失函数计算损失值，并利用所述损失值更新分类模型；使用训练好的分类模型对新样本进行分类。本发明通过融合提示学习和传统微调的方法在小样本数据下训练分类模型，有效地学习到了下游任务特定知识并提高了分类精度。

本发明授权基于预训练语言模型的提示学习小样本分类方法、系统、设备及介质在权利要求书中公布了：1.基于预训练语言模型的提示学习小样本分类方法，其特征在于，包括下述步骤， 根据预先设立的提示模板预处理数据样本；所述提示模板包括输入样本和被遮蔽的词，所述预处理数据样本是指用所述提示模板包装数据样本，使得包装后的数据样本包含标签词； 将预处理后的数据样本输入到预训练语言模型中，获取遮蔽处的标签词预测概率，利用所述标签词预测概率计算校准参数； 构建分类模型并进行训练，所述分类模型是将传统的微调方法和提示学习结合起来，构建新的模型来充分学习下游任务知识并且利用预训练学习到的知识；训练时使用交叉熵损失函数计算损失值，并利用所述损失值更新分类模型； 使用训练好的分类模型对新样本进行分类； 所述利用预测词概率计算校准参数，具体包括下述步骤： 将预处理后的数据样本输入到预训练语言模型中，得到被遮蔽的词对应位置的标签词logits，标签词与标签一一对应，即获得分类标签的logits； 计算缩放系数λ，以将校准后的logits缩放回模型原本输出logits的大小规模： 其中，z是遮蔽处的各标签词的logits；N表示样本的类别，K表示不同类别样本的数量，M表示为预训练语言模型；Wv表示预测标签词的词嵌入，也被用于隐层状态上预测词；hmask为遮蔽处模型最后一层的隐层状态；diag函数是将向量拓展成对角矩阵的函数；i表示输入样本序号，j表示不同标签的索引，表示模型输出对第i个样本的第j个标签的logits，zi表示模型输出对第i个样本的logits向量； 对分类模型进行训练包括下述步骤： 构建黑盒优化模型，具体为： 随机初始化投影矩阵A和本地待优化参数zl，l∈L，L为预训练模型层数，每一层需维护一组本地优化参数，并构建本地分类器f； 黑盒优化模型输出为： py∣∣xprompt＝α·pMLM+1-α·pCLS 对黑盒优化模型训练，由于分类器在本地构建，其梯度完全可见，可使用梯度和进化算法交替联合优化，优化过程如下： a训练数据以没mini-batch的形式输入模型并计算交叉熵损失，反向传播算法更新本地分类器f的参数； b全部训练数据输入模型并计算交叉熵损失，使用CMA-ES算法选取最优的zl保存并用于下一轮的CMA-ES算法； c迭代3个epoch，b步骤迭代一轮，即模型层数每一层l使用CMA-ES算法优化一次，构成一次完整优化训练步骤； 将c中的训练步骤迭代若干轮次。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。