买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖南昆仑元人工智能应用软件有限公司申请的专利基于可训练残差连接与双尺度卷积Transformer的大语言模型的训练方法、装置、计算机设备及可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119940416B 。

龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411849409.0，技术领域涉及：G06N3/0455；该发明授权基于可训练残差连接与双尺度卷积Transformer的大语言模型的训练方法、装置、计算机设备及可读存储介质是由刘杰雄;李诚设计研发完成，并于2024-12-16向国家知识产权局提交的专利申请。

本基于可训练残差连接与双尺度卷积Transformer的大语言模型的训练方法、装置、计算机设备及可读存储介质在说明书摘要公布了：本发明公开了一种基于可训练残差连接与双尺度卷积Transformer的大语言模型的训练方法、装置、计算机设备及可读存储介质，包括：首先获取基于多层Transformer架构的基础模型，其各层含自注意力与前馈网络且嵌入双尺度卷积模块，输出融合后作为该层输出，各层输入输出间配置可训练权重矩阵调整残差连接强度。获取预处理样本文档构建训练集，基于此对基础模型训练至预设条件，得到融合可训练残差连接与双尺度卷积的大语言模型，可提升模型性能与泛化能力。

本发明授权基于可训练残差连接与双尺度卷积Transformer的大语言模型的训练方法、装置、计算机设备及可读存储介质在权利要求书中公布了：1.一种基于可训练残差连接与双尺度卷积Transformer的大语言模型的训练方法，其特征在于，包括： 获取基于多层Transformer架构的基础模型，其中，所述基础模型包括多个级联的Transformer解码器层，每个所述Transformer解码器层包含自注意力机制和前馈神经网络，每个所述Transformer解码器层嵌入双尺度卷积模块，不同尺度的所述双尺度卷积模块用于捕捉不同的局部特征，所述双尺度卷积模块各自输出进行融合后作为对应Transformer解码器层的输出，各个所述Transformer解码器层的输入和输出之间配置可训练的权重矩阵，所述可训练的权重矩阵用于调整各个所述Transformer解码器层的之间残差连接的强度； 获取经过预处理的样本文档数据构建训练集； 将所述训练集包括的文本数据通过分词器转换为多个数字序列；所述数字序列包括的数字为所述文本数据在词典中的索引编号； 将所述多个数字序列通过embedding得到高维度的多个高维向量； 根据所述多个高维向进行推理运算，对每层Transformer架构对应的所述高维向量进行归一化操作，并通过线性层对归一化得到的原始特征进行处理； 将处理后的原始特征在时间轴上进行分块操作，得到第一特征；所述分块操作采用50%的重叠因子； 采用可训练残差连接结构并添加卷积模块的多尺度Transformer采用帧内Transformer和帧间Transformer分别学习所述第一特征的短期和长期依赖关系得到第二特征，所述帧内Transformer和所述帧间Transformer结构相同； 通过多尺度Transformer产生的所述第二特征经过PReLU激活函数和线性层得到第三特征； 对所述第三特征进行重叠相加操作得到第四特征；所述重叠相加操作的重叠率为0.5； 将所述第四特征通过ReLU激活函数和前馈网络层进行处理，使用非线性变换提取和学习每个token词汇的特征表示； 在达到最后一层Transformer架构时，通过SoftMax函数来获得所有数字序列的采样概率，并根据预设采样算法进行采样得到下一个数字序列； 重复执行所述对每层Transformer架构对应的所述高维向量进行归一化操作，并通过线性层对归一化得到的原始特征进行处理的步骤，至所述将所述第四特征通过ReLU激活函数和前馈网络层进行处理，使用非线性变换提取和学习每个token词汇的特征表示的步骤，直至达到预设循环次数后，生成索引序列； 利用所述分词器结合所述索引序列进行文字还原，得到目标自然语言，以完成所述基于多层Transformer架构的基础模型学习语言的统计特性和上下文关系的预训练； 对预训练后的基于多层Transformer架构的基础模型按照预设下游任务进行监督微调； 对监督微调后的基于多层Transformer架构的基础模型结合奖励模型通过预设策略优化算法进行强化学习，直到达到预设训练终止条件时，得到训练完成的融合可训练残差连接与双尺度卷积Transformer的大语言模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖南昆仑元人工智能应用软件有限公司，其通讯地址为：410000 湖南省长沙市岳麓区岳麓街道后湖艺术园D区02栋02号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。