买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海旭荣网络科技有限公司申请的专利一种非结构化数据的数据同步方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115964443B 。

龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310017542.9，技术领域涉及：G06F16/27；该发明授权一种非结构化数据的数据同步方法和装置是由陈秋石;杨佳文设计研发完成，并于2023-01-06向国家知识产权局提交的专利申请。

本一种非结构化数据的数据同步方法和装置在说明书摘要公布了：本发明涉及一种非结构化数据的数据同步方法和装置，该方法包括：将非结构化数据写入MongoDB和Elasticsearch中；在Hive或者Doris中创建与MongoDB或Elasticsearch中第一数据表相对应的第二数据表；解析需要结构化的字段，并存储到第一列表中；从MongoDB或Elasticsearch中读取第一数据表中的目标数据，将目标数据中的目标字段存储到第二列表中，并将目标数据中必须存在的字段存储到第三列表中；将第二列表中的数据写入到指定文件中；执行指定文件，将数据同步至Hive或Doris中。通过本申请，解决了相关技术中需要同步的非结构化数据的数据量大，人工编写结构化同步代码，导致数据同步效率较低的问题，实现了提高数据同步效率的效果。

本发明授权一种非结构化数据的数据同步方法和装置在权利要求书中公布了：1.一种非结构化数据的数据同步方法，其特征在于，包括： 将非结构化数据写入MongoDB和Elasticsearch中，其中，所述MongoDB或Elasticsearch中包括第一数据表； 在Hive或者Doris中创建与所述第一数据表相对应的第二数据表，其中，所述第二数据表中包括需要结构化的字段； 解析所述需要结构化的字段，并存储到第一列表中； 从MongoDB或Elasticsearch中读取所述第一数据表中的目标数据，将所述目标数据中的目标字段存储到第二列表中，并将所述目标数据中必须存在的字段存储到第三列表中，其中，所述目标字段为键值在所述第一列表中存在的数据字段； 将所述第二列表中的数据写入到指定文件中； 执行所述指定文件，将数据同步至Hive或Doris中； 解析所述需要结构化的字段，并存储到第一列表中包括：通过python提供的pyhive包或者pymysql包，从Hive或者Doris中读取所述第二数据表的schema，以获取所述需要结构化的字段；将所述需要结构化的字段存储到所述第一列表中； 在将所述目标数据中必须存在的字段存储到第三列表中之后，还包括：判断所述必须存在的字段是否能够获取到；若所述必须存在的字段能获取到，则执行所述将所述第二列表中的数据写入到指定文件中的步骤；若所述必须存在的字段不能获取到，则结束数据同步操作； 将非结构化数据写入MongoDB和Elasticsearch中包括：将系统执行日志以非结构化的形式写入到Elasticsearch中；将除所述系统执行日志以外的非结构化数据写入到MongoDB中； 所述指定文件为.py文件。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海旭荣网络科技有限公司，其通讯地址为：201899 上海市嘉定区嘉定镇清河路48号1幢6层602-4室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。