买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉齐鲁工业大学(山东省科学院);山东省人工智能研究院申请的专利基于改进Llama模型的自然语言处理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119961414B 。

龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510117657.4，技术领域涉及：G06F16/3329；该发明授权基于改进Llama模型的自然语言处理方法是由李志慧;苗继浦;石明;吴泞宇;蔡立林;陈文娜;贺劲设计研发完成，并于2025-01-24向国家知识产权局提交的专利申请。

本基于改进Llama模型的自然语言处理方法在说明书摘要公布了：本发明涉及自然语言处理技术领域，尤其是提供了一种基于改进Llama模型的自然语言处理方法。该方法包括获取对话数据S，对数据S进行预处理，得到预处理后的对话数据M；构建改进的Llama模型，改进的Llama模型包括：输入层、语言编码器、输出层，将预处理后的对话数据M输入到改进的Llama模型中，得到输出文本，该方法通过高效且轻量化的预训练语言模型Llama，在保持强大语言生成能力的同时，降低了训练成本和推理复杂度，提升了模型稳定性。

本发明授权基于改进Llama模型的自然语言处理方法在权利要求书中公布了：1.一种基于改进Llama模型的自然语言处理方法，其特征在于，所述方法包括： 步骤1、获取对话数据S，对数据S进行预处理，得到预处理后的对话数据M； 步骤2、构建改进的Llama模型，所述改进的Llama模型包括：输入层、语言编码器、输出层，将所述预处理后的对话数据M输入至改进的Llama模型中，得到输出文本； 所述步骤2包括： 步骤21、将预处理后的对话数据M输入到输入层，得到一个实数向量；其中输入层包括两个阶段，依次为：分词层和嵌入层； 步骤22、将实数向量经过语言编码器得到隐藏状态序列；其中编码器包括第一阶段至第二十阶段，每个阶段均包括四个连续的部分，其依次为：全局与局部融合注意力机制，归一化，前向传播，归一化；每个阶段的模块和参数完全一致，后一阶段的输入为前一阶段的输出； 步骤23、将隐藏状态序列输入到输出层，用于生成下一个词的概率分布；其中输出层包括投影层和去标记器； 所述步骤22包括： 使用全局与局部融合注意力机制，输入为，首先，将分别输入全局注意力机制与局部注意力机制； 其中全局注意力机制计算公式为： ； 其中，Q，K，V分别为查询Query、键Key和值Value矩阵；为键Key的维度，作为缩放因子； 局部注意力机制计算公式为： ； 其中，表示局部窗口范围，仅选择序列中邻近位置的键K和值V进行计算； 计算复杂度：从全局的降低为，其w是窗口大小，m是序列长度； 融合公式为： ； 其中为输出的权重矩阵； 将n_1作为编码器第一层的输入，n_1经过全局与局部注意力机制得到，然后将进行归一化，得到V1，将V1输入到前向传播层，得到输出V2，V2经过归一化得到V3，将V3和V1进行加权求和，将得到的矩阵去重新赋值给，将作为第一阶段的最终输出； 为第一阶段的输出，将作为第二阶段的输入，阶段二再经过和阶段一相同的经过，再输出；再将作为第三阶段的输入，如此一直反复到第二十阶段，～分别作为阶段第二阶段至第二十阶段的输入，～分别作为阶段第一阶段至第十阶段的输出，得到最终输出。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院);山东省人工智能研究院，其通讯地址为：250353 山东省济南市长清区西部新城大学科技园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。