买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉谷歌有限责任公司申请的专利训练神经网络以生成结构化嵌入获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114450694B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202080067395.0，技术领域涉及：G06N3/082；该发明授权训练神经网络以生成结构化嵌入是由罗伯特·安德鲁·詹姆斯·克拉克;詹竣安;文森特·炳·亮·尹设计研发完成，并于2020-09-25向国家知识产权局提交的专利申请。

本训练神经网络以生成结构化嵌入在说明书摘要公布了：一种用于训练机器学习模型108以生成该机器学习模型的输入的嵌入106的方法200，该机器学习模型具有编码器110和解码器120，其中该编码器110从输入生成嵌入，该解码器120从所生成的嵌入生成输出，其中，嵌入被分区成嵌入分区的序列，所述嵌入分区各自包括嵌入的一个或多个维度。该方法包括：对于嵌入分区的序列中的第一嵌入分区106A：执行初始训练以训练编码器和与第一嵌入分区相对应的解码器副本122；对于在嵌入分区的序列中的第一嵌入分区之后的每个特定嵌入分区：执行增量训练以训练编码器和与特定分区相对应的解码器副本。

本发明授权训练神经网络以生成结构化嵌入在权利要求书中公布了：1.一种训练机器学习模型以生成到所述机器学习模型的输入嵌入的方法，所述机器学习模型具有编码器和解码器，其中所述编码器从所述输入生成所述嵌入，所述解码器从所生成的嵌入生成输出，其中，所述输入包括文本单元并且所述输出包括表示所述文本单元的话语，或者所述输入包括表示图像的结构化数据并且所述输出包括表示重构图像的数据，或者所述输入包括表示音频的数据并且所述输出包括表示重构音频的数据，以及其中，所述嵌入被分区成嵌入分区的序列，所述嵌入分区各自包括所述嵌入的一个或多个维度，所述方法包括： 生成多个解码器副本，所述多个解码器副本中的每个解码器副本与所述嵌入分区的序列中的相应嵌入分区相对应，并且所述多个解码器副本中的每个解码器副本具有设置为等于所述解码器的一个或多个参数值的一个或者多个参数值； 对于嵌入分区的序列中的第一嵌入分区，执行初始训练以训练所述编码器和与所述第一嵌入分区相对应的所述多个解码器副本中的所述解码器副本，其中，在所述初始训练期间所述解码器副本接收第一掩蔽嵌入作为输入，所述第一掩蔽嵌入包括： 由所述编码器针对所述第一嵌入分区生成的值；以及针对所述嵌入分区的序列中的所有后续嵌入分区的遮蔽值； 对于在嵌入分区的序列中的所述第一嵌入分区之后的每个特定嵌入分区，执行增量训练以训练所述编码器和与所述特定嵌入分区相对应的所述多个解码器副本中的特定解码器副本，其中，在所述增量训练期间与所述特定嵌入分区相对应的所述特定解码器副本接收针对所述特定嵌入分区的增量掩蔽嵌入作为输入，所述增量掩蔽嵌入包括： 由所述编码器针对所述特定嵌入分区和在所述嵌入分区的序列中的所述特定嵌入分区之前的每个嵌入分区生成的值；以及针对在所述嵌入分区的序列中的所述特定嵌入分区之后的任何后续嵌入分区的遮蔽值；以及在所述增量训练期间，对于在所述嵌入分区的序列中的所述特定嵌入分区之前的每个在前嵌入分区，将对所述特定解码器副本的所述参数值中的任一个参数值所做的任何改变同步应用于与所述在前嵌入分区相对应的所述多个解码器副本中的解码器副本，使得所述特定解码器副本的所述一个或多个参数值和与所述在前嵌入分区相对应的所述多个解码器副本中的解码器副本的所述一个或多个参数值被约束为具有相同的值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人谷歌有限责任公司，其通讯地址为：美国加利福尼亚州；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。