支付宝(杭州)信息技术有限公司郑行获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉支付宝(杭州)信息技术有限公司申请的专利一种语言模型的预训练方法、装置、介质及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116502176B 。
龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310333653.0，技术领域涉及：G06F18/25；该发明授权一种语言模型的预训练方法、装置、介质及电子设备是由郑行;袁始股;孙清清;张天翼设计研发完成，并于2023-03-28向国家知识产权局提交的专利申请。
本一种语言模型的预训练方法、装置、介质及电子设备在说明书摘要公布了：本说明书公开了一种语言模型的预训练方法、装置、介质及电子设备，可先获取样本文本，将样本文本输入到特征提取网络，以提取样本文本的文本特征，并通过提示网络生成提示特征。然后将文本特征和提示特征融合，得到融合特征。最后针对预设的每个训练任务，根据融合特征以及该训练任务的训练目标，对语言模型中的编码端进行预训练。通过在预训练语言模型的编码端添加提示网络，使得在对语言模型进行预训练时候，可以将样本文本的文本特征和通过提示网络得到的提示特征进行融合，进而根据训练任务，完成训练目标，使得预训练后的语言模型可以更好的适配应用场景中的实际任务，以提高语言模型执行任务的能力，达到更好的效果。
本发明授权一种语言模型的预训练方法、装置、介质及电子设备在权利要求书中公布了：1.一种语言模型的预训练方法，所述方法用于训练语言模型中的编码端，所述编码端至少包括特征提取网络和提示网络，所述方法包括： 获取样本文本； 将所述样本文本输入所述特征提取网络，以通过所述特征提取网络从所述样本文本中提取文本特征；并，获得提示信息，将所述提示信息输入所述提示网络，以通过所述提示网络从所述提示信息中提取提示特征，所述提示信息是来源于不同场景下实际任务的提示文本，其中，所述特征提取网络在所述提示特征的影响下，在所述样本文本中提取文本特征； 根据所述文本特征以及所述提示特征，确定融合特征； 针对预设的每个训练任务，根据所述融合特征以及该训练任务的训练目标，对所述编码端进行预训练。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人支付宝(杭州)信息技术有限公司，其通讯地址为：310000 浙江省杭州市西湖区西溪路556号8层B段801-11；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励