本發(fā)明涉及數據處理，具體涉及一種保障任務雙集群數據一致性的方法及系統(tǒng)。
背景技術：
1、etl任務雙集群數據一致性保障：任務在hadoop雙集群運行完成后，一致性稽核平臺通過數據抽取方式進行事后稽核，發(fā)現不一致情況人工進行核查與處理，并對下游任務進行處理。
2、事后稽核方式雖然能發(fā)現不一致問題，在實際的生產系統(tǒng)中，任務的下游任務都已經運行，處理過程需要將下游任務也進行處理，消耗時間較大，費時費力。
技術實現思路
1、本發(fā)明的目的在于提供一種保障任務雙集群數據一致性的方法及系統(tǒng)，通過數據同步的方式解決任務在雙集群數據一致性的問題，避免事后稽核的時效性以及對下游任務的二次處理。
2、為解決上述技術問題，本發(fā)明提供一種保障任務雙集群數據一致性的方法，包括以下步驟：
3、獲取同類型的兩個集群；
4、根據集群的類型，確定數據同步引擎；
5、從兩個集群中確定主集群和備集群；
6、根據數據同步引擎，主集群和備集群進行數據同步。
7、優(yōu)選地，根據數據同步引擎，主集群和備集群進行數據同步，具體包括以下步驟：
8、在主集群和備集群中分別創(chuàng)建etl任務；
9、主集群中執(zhí)行etl任務，得到任務執(zhí)行結果；
10、基于數據同步引擎，將任務執(zhí)行結果同步到備集群。
11、優(yōu)選地，所述集群的類型包括hadoop集群和gbase集群。
12、優(yōu)選地，所述hadoop集群采用distcp數據同步引擎；
13、所述gbase集群采用gload數據同步引擎。
14、優(yōu)選地，所述hadoop集群類型的兩個集群分別為ha集群和hb集群；
15、所述ha集群為主集群，所述hb集群為備集群。
16、優(yōu)選地，所述gbase集群類型的兩個集群分別ga集群和gb集群；
17、所述ga集群為主集群，所述gb集群為備集群。
18、優(yōu)選地，所述任務執(zhí)行結果包括表名稱、周期和存儲方式。
19、本發(fā)明還提供一種保障任務雙集群數據一致性的系統(tǒng)，包括：
20、獲取模塊，用于獲取同類型的兩個集群；
21、數據同步引擎確定模塊，用于根據集群的類型，確定數據同步引擎；
22、主集群及備集群設置模塊，用于從兩個集群中確定主集群和備集群；
23、同步模塊，用于根據數據同步引擎，主集群和備集群進行數據同步。
24、與現有技術相比，本發(fā)明的有益效果為：
25、本發(fā)明針對不同集群采用不同的數據同步引擎實現了任務在雙集群的數據一致性，減少人工核查及處理問題時間，降低維護門檻、提升一致性。
26、本發(fā)明采用了靈活的數據同步引擎，任務只需要進行一次性配置后，后續(xù)自動進行數據同步，能保障任務在雙集群數據完整性，準確性，一致性，減少人工核查及定位問題時間。
1.一種保障任務雙集群數據一致性的方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的保障任務雙集群數據一致性的方法，其特征在于，根據數據同步引擎，主集群和備集群進行數據同步，具體包括以下步驟：
3.根據權利要求2所述的保障任務雙集群數據一致性的方法，其特征在于：
4.根據權利要求3所述的保障任務雙集群數據一致性的方法，其特征在于：
5.根據權利要求4所述的保障任務雙集群數據一致性的方法，其特征在于：
6.根據權利要求5所述的保障任務雙集群數據一致性的方法，其特征在于：
7.根據權利要求6所述的保障任務雙集群數據一致性的方法，其特征在于：
8.一種保障任務雙集群數據一致性的系統(tǒng)，用于實現如權利要求1-7任一所述的保障任務雙集群數據一致性的方法，其特征在于，包括：