北方工业大学曹丹阳获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北方工业大学申请的专利一种基于小参数语言模型的诗词生成与解读方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119597890B 。
龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411674529.1,技术领域涉及:G06F16/3329;该发明授权一种基于小参数语言模型的诗词生成与解读方法是由曹丹阳;程成;高磊;张冠敏设计研发完成,并于2024-11-21向国家知识产权局提交的专利申请。
本一种基于小参数语言模型的诗词生成与解读方法在说明书摘要公布了:本发明提供一种基于小参数语言模型的诗词生成与解读方法,涉及机器学习技术领域,该方法为利用语言指令对诗词解析数据进行分析,得到诗词训练数据;利用包含注意力模块和前馈网络模块的编码器层,构建小参数语言模型;利用多阶段训练方式对所述小参数语言模型进行训练,得到训练好的小参数语言模型,完成小参数语言模型的构建;其中,小参数语言模型用于对诗词训练数据进行分析,得到诗词生成与解读结果。本发明解决了语言模型在中文环境适应能力差和生成质量不高的问题。
本发明授权一种基于小参数语言模型的诗词生成与解读方法在权利要求书中公布了:1.一种基于小参数语言模型的诗词生成与解读方法,其特征在于,包括: S1:利用语言指令对诗词解析数据进行分析,得到诗词训练数据; S2:利用包含注意力模块和前馈网络模块的编码器层,构建小参数语言模型;所述小参数语言模型包括多个编码器层,其中,所述编码器层包括: 注意力模块,包括位置编码算法,用于通过多头注意力机制,计算所述诗词训练数据中各元素的相关性,得到注意力特征向量; 前馈网络模块,包括输入单元、隐藏单元和输出单元,用于通过线性变换和非线性激活,将所述注意力特征向量映射到高维度空间,得到高维空间特征信息;所述注意力特征向量的表达式为: ; ; ; 其中,表示注意力特征向量,表示查询,表示值,表示softmax激活函数,表示键的维度,表示经过嵌入前的输入,表示转为复数域的和,表示位置嵌入的变换要求,表示时间步,表示频率分量的索引,表示向量维度,表示缩放因子; 所述非线性激活的表达式为: ; 其中,表示非线性激活结果,表示输入单元的数据,、和表示全连接层的权重,表示Sigmoid线性单元激活函数,表示乘运算; 所述小参数语言模型的表达式为: ; 其中,表示第编码层,表示第二编码层,表示第一编码层,表示诗词训练数据,表示第一编码层的参数,表示第二编码层的参数,表示第编码层的参数; S3:利用多阶段训练方式对所述小参数语言模型进行训练,得到训练好的小参数语言模型,完成小参数语言模型的构建;其中,所述小参数语言模型用于对诗词训练数据进行分析,得到诗词生成与解读结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北方工业大学,其通讯地址为:100144 北京市石景山区晋元庄路5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。