大(dà)數據集成系統

産品概述

大(dà)數據集成系統是巨龍信息以20年的(de)數據整合治理(lǐ)實踐爲基礎，采用(yòng)分(fēn)布式并行計算(suàn)架構自主研發的(de)大(dà)數據ETL集成系統，具備高(gāo)吞吐、高(gāo)可(kě)用(yòng)、高(gāo)擴展特性，支持主流雲平台、數據庫、文件、消息對(duì)接、接口等數十種異構數據源，内置上百種數據處理(lǐ)組件和(hé)函數，爲海量異構數據的(de)超大(dà)規模數據倉庫建設提供抽取、清洗、整合、入庫等集成業務，消除數據孤島，加快(kuài)數據變現，實現數字化(huà)轉型。

産品亮點

		海納百川，數據源适配廣泛 支持市面上主流的(de)雲平台；支持涵蓋OldSQL、NoSQL、NewSQL的(de)各類數據庫；支持文件自動下(xià)載 解壓、解密處理(lǐ)；支持消息隊列實時(shí)數據消費；支持WebService接口對(duì)接配置。
		無代碼開發，組件開箱即用(yòng) 内置上百個(gè)組件和(hé)上百個(gè)公式，開箱即用(yòng)；支持第三方按照(zhào)組件開發标準定制業務性組件。
		高(gāo)吞吐處理(lǐ)能力，支撐百億數據處理(lǐ) 采用(yòng)多(duō)線程處理(lǐ)算(suàn)法，高(gāo)效的(de)内存利用(yòng)率；可(kě)拓展形成100節點以上集群、任務運行過程無需本地磁 盤IO操作，提升整體單位時(shí)間的(de)大(dà)批量處理(lǐ)能力；支持TB/h級的(de)大(dà)數據集成業務性能。
		“火眼金睛”，全方位實時(shí)監控 支持對(duì)系統運行環境（如調度引擎、執行引擎）和(hé)流程作業業務的(de)實時(shí)狀态監控，通(tōng)過圖形可(kě)視化(huà)的(de) 方式展現監控結果，極大(dà)降低了(le)系統日常的(de)維護成本。
		“縱橫”架構融合，運行持續穩定 并行架構提升單機處理(lǐ)能力的(de)縱向線性擴展；分(fēn)布式架構提升多(duō)機處理(lǐ)能力的(de)橫向線性擴展；支持 執行引擎快(kuài)速部署及自動識别；支持資源調度中心雙活模式；支持執行引擎宕機自動識别和(hé)任務轉移；支持引擎集群管理(lǐ)節點自動競選，确保系統穩定運行，任務執行不脫機。
		自動容錯，異常數據分(fēn)流 采用(yòng)異常數據分(fēn)流機制，在不影(yǐng)響正常流程的(de)情況下(xià)，自動将ETL處理(lǐ)過程中出現的(de)異常數據轉儲 到指定位置，保證數據不丢失。在任務分(fēn)發和(hé)執行的(de)過程中，感知引擎狀态，自動将異常設備的(de)任務 轉移到正常設備上重新執行，保證了(le)任務執行高(gāo)可(kě)用(yòng)。
		以點帶面，知識賦能 支持一鍵生成數據處理(lǐ)模闆，結合特有的(de)環節分(fēn)組及批注功能，實現專業人(rén)員(yuán)知識沉澱，滴灌賦能執行人(rén)員(yuán)，以點帶面，形成知識輻射。

應用(yòng)案例

大(dà)數據集成系統已經服務政府、政數局、水(shuǐ)利廳、财政廳、海關總署、公安廳/局等多(duō)個(gè)用(yòng)戶部門，累計支撐2萬+數據處理(lǐ)方案的(de)穩定運行，共處理(lǐ)數據已達P級，用(yòng)戶遍及廣東、天津、福建、安徽、甘肅、湖南(nán)、内蒙古、青海 等省份，其中天津某行局配置管理(lǐ)2000個(gè)大(dà)數據ETL作業，完成約600億數據抽取、整合行務，當前運行穩定；福建某大(dà)數據治理(lǐ)項目采用(yòng)混合異構數據庫模式，分(fēn)别與騰訊雲、阿裏雲ODPS、Gbase 8a、億榕文件存儲等大(dà)數據庫完成适配。