买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广东省建筑工程监理有限公司申请的专利一种基于大模型的工程造价自动抽取和分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119558396B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510045562.6，技术领域涉及：G06N5/025；该发明授权一种基于大模型的工程造价自动抽取和分析方法是由黄隆盛;林晓东;谭颖;王志亮;林孟华;廖一博;黄隆雁设计研发完成，并于2025-01-13向国家知识产权局提交的专利申请。

本一种基于大模型的工程造价自动抽取和分析方法在说明书摘要公布了：本发明提供了一种基于大模型的工程造价自动抽取和分析方法，属于工程造价数据分析技术领域。首先获取待分析工程项目文本，将工程项目文本输入到构建并训练完成的工程造价分析大模型中，并输入具体的造价问题；工程造价分析大模型对工程项目文本进行处理和分析，以得到对应项目的各项造价信息，之后对具体输入的造价问题进行相应答复生成，以实现工程造价的自动抽取和分析；工程造价分析大模型包括词嵌入层、多层编码器模块、多层解码器模块和输出层；多层编码器模块和多层解码器模块的每个对应层之间通过跳跃连接构成U‑Net架构；本发明能自动适应不同的数据格式和复杂场景，并且无需手动设计规则和模板，能在面对具体造价问题时进行精确分析。

本发明授权一种基于大模型的工程造价自动抽取和分析方法在权利要求书中公布了：1.一种基于大模型的工程造价自动抽取和分析方法，其特征在于，包括以下过程： 获取待分析的工程项目文本，所述工程项目文本内包含与造价分析相关的关键信息； 将工程项目文本输入到构建并训练完成的工程造价分析大模型中，并输入具体的造价问题；所述工程造价分析大模型对工程项目文本进行处理和分析，以得到对应项目的各项造价信息，之后对具体输入的造价问题进行相应答复生成，以实现工程造价的自动抽取和分析； 所述工程造价分析大模型包括词嵌入层、基于多头注意力机制的多层编码器模块和多层解码器模块，还包括输出层；所述多层编码器模块和多层解码器模块的每个对应层之间通过跳跃连接构成U-Net架构； 所述多层编码器模块基于多头注意力机制、全连接层、Dropout层以及层标准化设计每个编码器结构，具体处理过程为： 基于多头注意力机制对词嵌入向量进行特征处理，使得编码器能够从不同的角度捕捉到工程造价数据中的关键特征；计算、和矩阵： 其中，，和分别为query，key和value函数，、和分别表示在第个注意力头下的query，key和value矩阵，多头注意力的总头数为，则； 之后，计算多头注意力特征： 其中，为softmax函数，为归一化因子； 基于特征，通过将各头的特征向量拼接并处理，整合多重视角的信息，多头注意力处理结果的计算为： 其中，是第个注意力头的特征处理向量，且；为通道拼接操作； 然后进行层标准化处理，再经过全连接层、Dropout层和残差连接得到提取的特征； 最后，再次通过层标准化得到第一层编码器的特征处理结果； 基于构造的编码器结构进行堆叠，构建为10层结构，且每层编码器的输入均为上一层编码器的输出；最后一层编码器的输出为多层编码器模块的整体处理结果； 所述多层解码器模块基于多头注意力机制、全连接层、Dropout层以及层标准化设计每个解码器结构，具体处理过程为： 将多层编码器模块的输出作为待解码向量，而编码向量为与该层解码器对应的编码器层处理结果，将编码器的特征直接通过跳跃连接引入解码器，解码工程造价数据，分别经过多头注意力后的处理结果为： 其中，为编码向量，且；和分别为编码向量和待解码向量的多头注意力处理结果； 将和进行相加并利用层标准化进行处理得到解码器层标准化处理后的特征； 然后，通过全连接层、Dropout层和残差连接得到进一步提取的特征： 再次通过层标准化得到第一层解码器的特征处理结果； 基于构造的解码器结构进行堆叠，与多层编码器结构具有相同的层数，且后续每层解码器的输入待解码向量均为上一层解码器的输出，每层解码器的输入编码向量为对应编码器层的输出结果；最后一层解码器的输出为多层解码器模块的整体处理结果； 所述词嵌入层用于获取词编码向量和位置编码向量，并生成词嵌入结果；所述多层编码器模块用于深入提取数据的层次化特征，每一层编码器将前一层的输出作为输入，使得模型能够捕捉到更复杂的特征和模式；所述多层解码器模块在每层解码器的输入中通过跳跃连接以及多头注意力额外将编码器对应层的特征融入，将复杂特征逐层解码和还原，每一层解码器进一步融合编码器的特征，进行特征提取和优化；所述输出层用于将解码器生成的表示转化回词汇表中的概率分布； 对于构建完成的工程造价分析大模型，首先进行预训练以获得适应工程造价场景的初步专业场景大模型，之后再基于工程造价问题数据进行微调训练以得到专业化的工程造价自动提取和分析大模型； 所述预训练的具体过程为： 基于收集到的工程项目文本，且，利用自回归语言建模方法进行训练，即通过每段中的前面一段给定文字预测下面一个词；并定义预训练的自回归损失函数为： 其中，为第段文本对应的自回归预测次数，表示当前词，表示在之前的词，为模型参数，其通过随机初始化得到； 基于随机初始化的模型参数计算得到损失值，采用Adam优化算法对模型参数进行参数优化和梯度更新： 其中，表示更新后的模型参数，为学习率；并且为模型训练设定自适应学习率：对于浅层设置更低的学习率，而深层采用更高的学习率； 之后进行参数迭代更新，当达到预设最高次数后停止预训练，并将优化训练好的模型保存作为预训练模型； 所述微调训练的具体过程为： 将工程造价问题作为模型输入，并以生成对应信息数据为目标训练模型，相应微调训练的文本生成损失函数设计为： 其中，和分别表示文本和对应的词向量，表示模型微调训练时的模型参数，其初始化为预训练得到的模型参数； 采用渐近微调策略逐层解冻浅层参数的训练，具体步骤包括： 模型参数初始化： 将模型最后一层第层网络解冻，并进行微调训练和参数更新，从而适应特定的工程造价分析任务，对模型参数进行优化和更新： 其中，表示第层更新后的模型参数，为学习率；循环更新次迭代后完成最后一层的参数更新； 继续将模型第层网络解冻，并继续进行微调训练和参数更新； 其中，和分别为第层网络更新前后的参数，此时；继续循环更新次迭代后完成此次的参数更新； 继续解冻第层到模型第1层，最终逐层完成模型网络参数的渐近微调训练策略； 当所有层的参数都解冻后模型进入全局微调阶段，此时同时对所有参数进行统一优化，并达到预设的微调训练最高次数后停止模型微调训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东省建筑工程监理有限公司，其通讯地址为：510000 广东省广州市荔湾区流花路85号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。