北京工商大学宋天宝获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京工商大学申请的专利一种防止变分自动编码器在文本建模中后验坍缩的方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119416744B 。
龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411458817.3,技术领域涉及:G06F40/16;该发明授权一种防止变分自动编码器在文本建模中后验坍缩的方法是由宋天宝;刘歆设计研发完成,并于2024-10-18向国家知识产权局提交的专利申请。
本一种防止变分自动编码器在文本建模中后验坍缩的方法在说明书摘要公布了:本发明公开了一种防止变分自动编码器在文本建模中发生后验坍缩的方法。该方法在模型的解码器中设置PathA和PathB两条路径,在PathA中,将文本实例直接输入解码器,而在PathB中,随机将文本实例中一部分词替换为未登录词统一符号后再输入解码器。模型设置Path停止策略,在模型训练初始阶段,PathA和PathB同时存在,当模型趋近于收敛时,取消PathB。同时使用KL权重置零方法,在KL退火过程中随机将KL权重的一部分维度置为0。本发明所述方法通过PathB迫使模型在潜在变量中编码更多关于输入数据的信息,通过PathA和Path停止策略使模型能够充分利用解码器的表示能力,同时避免模型进入存在PathB时的局部最优状态,并通过KL权重置零方法提升潜在变量中的活跃单元个数,最终更好地解决变分自动编码器在文本建模中的后验坍缩问题。
本发明授权一种防止变分自动编码器在文本建模中后验坍缩的方法在权利要求书中公布了:1.一种防止变分自动编码器在文本建模中发生后验坍缩的方法,其特征在于,利用目标函数对变分自动编码器模型进行训练,所述目标函数为: 其中,L表示目标函数,path是模型中解码器的Path标识,L1是PathA和PathB同时存在时的目标函数,L2是只有PathA存在时的目标函数,pX表示真实文本数据x的概率,x=[x1,x2,x3,...,xt,...,xT]是来自x的一个文本实例,xt表示文本实例x中的词,和分别表示由解码器中PathA和PathB学习的x的似然分布,α是PathB中控制词丢弃比例的超参数,z表示潜在变量,表示由模型中编码器学习的x对应的潜在变量z的后验概率分布,pz表示潜在变量z的先验概率分布,使用标准高斯分布N0,I,表示编码器的参数,θ表示解码器的参数,E.[·]表示期望,DKL[·||·]表示KL散度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京工商大学,其通讯地址为:100048 北京市海淀区阜成路33号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励