买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨商业大学申请的专利一种用于语言处理的循环神经网络中隐状态的生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120493938B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510554808.2，技术领域涉及：G06F40/30；该发明授权一种用于语言处理的循环神经网络中隐状态的生成方法是由武雯敏;李佳;齐磊;张雨;王者;刘毅;颜希宇;王烁设计研发完成，并于2025-04-29向国家知识产权局提交的专利申请。

本一种用于语言处理的循环神经网络中隐状态的生成方法在说明书摘要公布了：本发明涉及循环神经网络技术领域，特别涉及一种用于语言处理的循环神经网络中隐状态的生成方法，包括以下步骤：S1、输入嵌入：将离散的词语转换为连续的向量表示，为模型提供可计算的语义基础，使词语抽象含义转化为数值形式，嵌入层通过预训练或随机初始化构建，每个词语映射到固定维度向量空间，预训练嵌入利用大规模语料库统计规律捕获语义关联；通过比较查询向量与所有历史隐状态生成的键向量，确定每个历史位置的重要性，具体来说，每个历史隐状态会被转换为键向量和值向量，然后计算查询向量与每个的点积得分，经过缩放和归一化后得到注意力权重。这些权重反映了当前词与各个历史位置的关联强度。

本发明授权一种用于语言处理的循环神经网络中隐状态的生成方法在权利要求书中公布了：1.一种用于语言处理的循环神经网络中隐状态的生成方法，其特征在于，包括以下步骤： S1、输入嵌入：将离散的词语转换为连续的向量表示，为模型提供可计算的语义基础，使词语抽象含义转化为数值形式，嵌入层通过预训练或随机初始化构建，每个词语映射到固定维度向量空间，预训练嵌入利用大规模语料库统计规律捕获语义关联；随机初始化嵌入通过任务数据训练逐步调整，嵌入向量维度需权衡表达能力和计算成本，原始文本经此转化为适合神经网络处理的高维数值序列； S2、生成当前查询：构建“搜索焦点”向量，作为注意力机制起点，查询向量构建依赖当前时间步输入信息或前一时刻隐状态，通过线性变换，输入向量或隐状态投影到新向量空间形成查询，由可学习权重矩阵实现，矩阵参数在训练中优化，查询向量生成包含当前词汇局部特征，还可能继承历史隐状态累积信息； S3、计算注意力权重：计算注意力权重是动态筛选历史信息核心环节，模型比较当前查询向量与所有历史位置键向量，量化历史元素重要性，键向量由历史隐状态经线性变换生成，注意力分数通过点积运算衡量相似度，经缩放处理，再通过归一化函数转换为概率分布，计算过程不依赖序列顺序或距离，直接建立全局关联； S4、生成上下文向量：上下文向量是注意力机制输出结果，对历史信息加权融合，将注意力权重与对应值向量相乘并求和，值向量由历史隐状态经线性变换得到，上下文向量生成具有选择性，保留与当前查询高度相关特征； S5、更新隐状态：隐状态更新是循环神经网络核心操作，通过非线性变换融合当前输入、历史状态和上下文信息，引入注意力机制后，上下文向量作为额外输入，三部分信息通过独立权重矩阵线性组合，再经激活函数压缩至合理范围； S6、迭代传递：迭代传递是循环神经网络处理序列数据核心机制，更新后的隐状态作为下一时间步初始状态，继续参与后续注意力计算和状态更新，对于长序列处理，可通过限制历史窗口长度或采用稀疏注意力策略优化计算效率，隐状态传递形成信息纵向流动，注意力机制增强跨步幅信息交互。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨商业大学，其通讯地址为：150028 黑龙江省哈尔滨市松北区学海街1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。