买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利一种基于增强低秩自适应的地学语言问答大模型构建方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119088942B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411309761.5，技术领域涉及：G06N5/04；该发明授权一种基于增强低秩自适应的地学语言问答大模型构建方法、系统、设备及介质是由任仲乐;徐常惠;张诚;谢朝阳;侯彪;李卫斌;焦李成设计研发完成，并于2024-09-19向国家知识产权局提交的专利申请。

本一种基于增强低秩自适应的地学语言问答大模型构建方法、系统、设备及介质在说明书摘要公布了：一种基于增强低秩自适应的地学语言问答大模型构建方法、系统、设备及介质，方法包括：收集地学数据并预处理，得到地学数据集；对地学数据集分类，得到地学文本数据集和地学问答数据集；将地学文本数据集输入到对应的大语言模型中进行训练，生成地学大语言模型；将地学问答数据集输入到地学大语言模型中进行微调，设置增强低秩自适应技术，通过对多个低秩矩阵进行分解并赋予不同的学习率以优化参数调整，最终加入DeepSpeed加速框架，生成地学语言问答大模型；对训练生成的地学语言问答大模型进行分数评估，和不断优化，得到最佳分数的权重文件；系统、设备及介质用于实现该方法；本发明在大幅减少计算所需的资源的同时，提高了模型的精确度和泛化能力。

本发明授权一种基于增强低秩自适应的地学语言问答大模型构建方法、系统、设备及介质在权利要求书中公布了：1.一种基于增强低秩自适应的地学语言问答大模型构建方法，其特征在于，包括： 步骤1，收集地学数据，包括但不限于中国地理网、地学专业书籍和地学专业相关的科研论文； 步骤2，对步骤1收集到的地学数据进行预处理，得到地学数据集； 步骤3，对步骤2得到的地学数据集进行分类，得到地学文本数据集和地学问答数据集； 步骤4，将步骤3得到的地学文本数据集输入到对应的大语言模型中，通过联邦学习进行自监督式训练，利用联邦学习的同构架构，大语言模型在多个设备上进行分布式训练，每个设备独立处理其本地数据，在所有训练轮次epoch结束之后，每个设备将大语言模型的参数发送回中央服务器，中央服务器对大语言模型的参数进行聚合，生成地学大语言模型GeographicSciencesLargelanguageModel,GSLLM； 所述大语言模型具体包括： 步骤4.1，设置大语言模型结构中的均方根层归一化RMSNorm，使用大语言模型结构中的均方根层归一化RMSNorm对步骤3生成的地学文本数据集进行输入，对每个输入样本计算其所有元素的均方根值RMS，然后进行归一化，均方根值RMS公式如下： 其中，xi表示第i个数据点的值，N表示数据点的总数； 步骤4.2，设置SwiGLU激活函数，SwiGLU激活函数公式如下： 其中，x表示输入向量，W表示权重矩阵，b表示偏置项； 步骤4.3，采用旋转位置嵌入RoPE设置Transformer中的位置嵌入，这种位置嵌入方法用旋转矩阵对绝对位置进行编码，首先初始化旋转角度，创建旋转矩阵，再进行旋转矩阵，旋转位置嵌入RoPE的角度计算和旋转向量公式如下： 角度计算： 旋转向量： 其中，θi表示第i个维度的旋转角度，用于定义旋转矩阵；k是一个超参数，用于控制旋转角度的大小；d表示向量的维度； 步骤4.4，设置全局查询注意力GQA，首先将输入序列投影为查询、键和值向量，然后将查询向量的数量减少到一个或几个，根据自己的模型，可以先从一个较小的查询向量数量开始，逐渐增加，观察模型性能的变化，直到找到一个合适的平衡点，再使用共享的查询向量与所有键向量进行点积计算，得到注意力分数，最后使用注意力分数对值向量进行加权求和，得到输出向量； 步骤5，将步骤3得到的地学问答数据集输入到步骤4得到的地学大语言模型GeographicSciencesLargelanguageModel,GSLLM中进行微调，再设置增强低秩自适应技术，即通过对多个低秩矩阵进行分解并赋予不同的学习率以优化参数调整，最终在地学大语言模型GeographicSciencesLargelanguageModel,GSLLM中加入DeepSpeed加速框架，生成地学语言问答大模型； 步骤6，对步骤5训练生成的地学语言问答大模型进行分数评估，利用分数对地学语言问答大模型进行不断地优化，保存地学语言问答大模型在评估中可以达到的最佳分数的权重文件。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。