云优采集接口( 网闸全数据库安全隔离网闸，实现网络上任意计算机的数据交换数据库)

　　云优采集接口(

网闸全数据库安全隔离网闸，实现网络上任意计算机的数据交换数据库)

　　在线QQ客服：1922638

　　专业的SQL Server、MySQL数据库同步软件

　　本发明涉及跨网守数据同步技术领域，具体提供一种基于云消息服务平台实现跨网守Mysql数据库同步的装置及方法。

　　背景技术：

　　在公司或企业环境中，出于安全考虑，内网和外网需要“物理分离”，但内网和外网也需要交换数据（如Mysql数据库同步），所以Gatekeeper是介绍了。网守的全称是安全隔离网守。网守的隔离定义分为三个级别：

　　物理隔离：模拟人工交换的过程，必须在内外网的节点机器上进行数据交换，不能实现网络上任何一台计算机的数据交换。这种方法非常安全。

　　网络隔离：在简单交换的基础上，文件传输协议的数据包交换实现了网络上任意信息点的数据交换，降低了安全性。

　　协议隔离：对于其他应用协议代理，如Http，实现应用数据的直接交换，在方便交换的同时大大降低了安全性。

　　物理隔离是指仅具有文件级交换的网守。这种情况下，如果内网用户需要访问外网的Mysql数据库，协议被阻塞，即不能直接访问外网的Mysql数据库。因此，出现了新的要求。在保证安全的情况下，通过网守的物理隔离将外网Mysql数据库同步到内网Mysql数据库，使内网用户直接访问内网Mysql数据库相当于可以访问外网的Mysql数据库。外网Mysql数据库的数据文件是不断变化的。直接同步大量大文件是不现实的，

　　云消息服务平台（简称cmsP）是一种消息中间件，它可以利用TCP/IP协议将一个网络消息队列中的消息实时有序地传输到另一个网络消息队列，提供一种方法用于在不同网络之间实时有效地交换数据。cmsP有一个重要的特点，严格先进先出，即消息的生产、存储、传输和消费都是严格有序的。在有网守隔离的内网环境中，在保证隔离安全的情况下（只允许文件交换，不允许协议通过等），cmsP不能正常传输数据，比如简单的从消息队列中发送消息. 取出生成的文件，通过网守进行交换，破坏了消息的顺序，

　　技术实施要素：

　　本发明的技术任务是针对上述存在的问题，提供一种基于云消息服务平台实现Mysql数据库跨门同步的装置，能够解决Mysql数据库跨门同步问题。 ，同时保证Mysql数据库的及时性和效率。.

　　本发明进一步的技术任务是提供一种基于云消息服务平台实现跨网守Mysql数据库同步的方法。

　　为实现上述目的，本发明提供以下技术方案：

　　一种基于云消息服务平台实现跨网守Mysql数据库同步的装置，包括Mysql日志采集模块、消息队列一、转换模块一、文件名带编码文件存储模块一、Gatekeeper模块，消息队列二、转换模块二、文件名带编码文件存储模块II和Mysql数据存储模块，Mysql日志采集模块，消息队列一、转换模块一、外网设置带编码文件存储模块1的文件名，消息队列二、转换模块二、带编码文件存储模块2的文件名和Mysql数据入库模块位于 Intranet 中。消息队列分别连接Mysql日志采集模块和转换模块。转换模块连接到文件名被编码的文件存储模块。文件名已编码。第一存储模块通过网守模块与文件名带编码的第二文件存储模块相连，第二文件存储模块与编码文件名相连，第二转换模块与第二消息队列相连。转换模块二、Mysql数据输入。库模块是单独链接的。第二个消息队列连接到转换模块二、Mysql数据输入。库模块是单独链接的。第二个消息队列连接到转换模块二、Mysql数据输入。库模块是单独链接的。

　　优选地，基于云消息服务平台实现跨网守Mysql数据库同步的装置还包括Mysql源数据库和Mysql目的数据库，Mysql源数据库连接Mysql log采集模块， Mysql 目标数据库连接到 Mysql 数据条目。库模块是链接的。

　　优选地，Mysql日志采集模块用于Mysql源数据库采集的全量数据和增量变更日志，Mysql数据存储模块将全量数据写入Mysql目的数据库，Mysql log采集 @采集 模块将增量更改日志拆分成64KB的消息块，并将增量更改日志同步到Mysql目标数据库。

　　优选地，Mysql log采集模块将全量数据和增量变更日志写入消息队列1，转换模块1有序地从消息队列1中读取消息，生成文件名经过编码的文件，将其存储在第一文件名编码文件存储模块中，网守模块将第一文件名编码文件存储模块中的编码文件交换到第二文件名编码文件存储模块中。

　　优选地，转换模块2将文件存储模块2中的编码文件名的文件写入到消息队列2中。

　　基于云消息服务平台实现跨网守Mysql数据库同步的方法，Mysql日志采集模块采集来自Mysql源数据库的Mysql全量数据和增量变更日志，并将完整的数据和对日志的增量更改。日志先写入消息队列1，再通过网守模块写入消息队列2。Mysql数据存储模块从消息队列2中获取全量数据和增量变更日志，写入Mysql目的数据库。

　　全量数据采集是通过Mysql数据库接口获取部分选中表的所有记录，增量变更日志采集是获取Mysql源数据binlog日志。

　　优选地，Mysql日志采集模块用于从Mysql源数据库采集获取全量数据和增量变更日志，Mysql数据存储模块将全量数据写入Mysql目的数据库， Mysql log采集模块将增量更改日志拆分成64KB的消息块，并将增量更改日志同步到Mysql目标数据库。这样，Mysql 目的数据库与Mysql 源数据库实时同步，Mysql 源数据库的内容变化（包括增删）会及时同步到Mysql 目的数据库。

　　其中，小于64KB取剩余值。

　　优选地，将全量数据和增量变更日志写入消息队列1，通过转换模块1有序地读出消息，生成文件名经过编码的文件并存储在具有编码文件名的文件存储模块1， 网守模块使用文件交换功能将具有编码文件名的文件交换给具有编码文件名的文件存储模块2。转换模块2有序读取文件名编码后的文件，写入消息队列2中间。

　　第一个转换模块生成带编码文件名的文件，既保证了文件生成的实时性，又考虑了带编码文件名的文件的大小，保证带编码的文件文件名可以尽可能高效、及时地交换到网守模块。转换模块二。网守模块的文件交换是无序的，转换模块2的一个关键点就是有序的读出文件名和代码的文件内容，以消息的形式写入到消息队列2中.

　　优选地，转换模块1有序地从消息队列1中读取消息，并以相同的顺序将它们以编码后的文件名写入文件存储模块1中。编码文件的文件名具有消息的开头。序号和终止序号。

　　在本发明中，文件名的一个例子是cmspXXXXXX_YYYYYY.msg，其中XXXXXX是起始序号，YYYYYY是结束序号。

　　需要配置转换模块2第一次运行时开始读取的报文序号。每次读取文件时，必须从最后一个终止序列号的下一个开始读取。例如，网守模块不交换满足条件的文件。过来，那么转换模块2一直在等待，直到条件满足。

　　优选地，转换模块2有序地读出文件名编码后的文件内容，并以消息的形式写入消息队列2。

　　与现有技术相比，本发明基于云消息服务平台实现跨网守Mysql数据库同步的方法具有以下突出的有益效果： 基于云消息服务实现跨网守Mysql数据库同步的方法平台不仅解决了Mysql数据库跨网守同步的问题，而且保证了Mysql数据库同步的及时性和效率，具有很好的推广和应用价值。

　　图纸说明

　　无花果。附图说明图1为本发明基于云消息服务平台实现Mysql数据库跨网守同步装置的拓扑*敏*感*词*。

　　详细说明

　　下面结合附图和实施例对本发明基于云消息服务平台实现跨网守Mysql数据库同步的装置和方法做进一步的详细说明。

　　例子

　　如图1所示，本发明基于云消息服务平台实现跨网守Mysql数据库同步的装置包括Mysql源数据库、Mysql日志采集模块、消息队列一、转换模块一、文件名编码文件存储模块一、Gatekeeper模块，消息队列二、转换模块二、文件名编码文件存储模块二、Mysql数据存储模块和 Mysql 目的数据库。Mysql源数据库，Mysql日志采集模块，消息队列一、转换模块一、外网设置编码文件存储模块的文件名，消息队列二、转换模块< @二、带编码文件存储模块的文件名二、

　　Mysql 源数据库连接到 Mysql log采集 模块。消息队列1分别连接Mysql日志采集模块和转换模块1，转换模块1连接文件名编码的文件存储模块1。文件名编码的文件存储模块1通过网守模块与文件名编码的第二文件存储模块相连，文件名编码的第二文件存储模块与转换模块2相连，消息队列2 连接转换模块二、Mysql 数据仓库模块单独连接，Mysql 目标数据库连接Mysql 数据仓库模块。

　　Mysql log采集 模块用于记录来自Mysql 源数据库的采集 完整数据和增量更改。全量数据采集是通过Mysql数据库接口获取部分选中表的所有记录，增量变更日志采集是获取Mysql源数据binlog日志。Mysql 数据仓库模块将增量变更日志拆分成 64KB 的消息块，剩余的值用于小于 64KB 的消息块。Mysql数据存储模块将全量数据和增量变更日志写入消息队列。转换模块1有序地从消息队列1中读取消息，生成文件名编码后的文件，并存储在文件名编码后的文件存储模块1中。将该名称编码的文件交换到该文件名编码的文件存储模块2。转换模块2将文件存储模块2中带有编码文件名的文件写入到消息队列2中。消息队列2中的文件最终通过Mysql存储模块写入Mysql目的数据库。

　　第一个转换模块生成带编码文件名的文件，既保证了文件生成的实时性，又考虑了带编码文件名的文件的大小，保证带编码的文件文件名可以尽可能高效、及时地交换到网守模块。转换模块二。网守模块的文件交换是无序的，转换模块2的一个关键点就是有序的读出文件名和代码的文件内容，以消息的形式写入到消息队列2中.

　　在本发明的基于云消息服务平台实现跨网守Mysql数据库同步的方法中，Mysql日志采集模块采集来自Mysql源数据库的Mysql全数据和增量变更日志，并转换完整数据和增量更改日志。增量更改日志被写入消息队列一。通过转换模块1，有序地从消息队列1中读取消息，生成文件名编码后的文件，并对文件名编码后的文件进行排序写入。该名称具有消息的起始序列号和结束序列号。例如，在本发明中，样本文件名为cmspXXXXXX_YYYYYY.msg，其中XXXXXX为起始序号，YYYYYY 是结束序列号。第一个转换模块生成带编码文件名的文件，既保证了文件生成的实时性，又考虑了带编码文件名的文件的大小，保证带编码的文件文件名可以尽可能高效、及时地交换到网守模块。转换模块二。网守模块利用文件交换功能，将具有文件名的编码文件交换给具有编码文件名的文件存储模块2。网守模块的文件交换紊乱。转换模块2的一个重点是文件的有序存储。具有编码文件名的文件以消息的形式被读取并写入消息队列2。

　　以上所述仅为本发明的较佳具体实施例而已，本领域普通技术人员在本发明技术方案的范围内所作的通常改动和替换，均应收录在本发明的保护范围之内。 .