産品介紹

大(dà)數據服務總線是雲計算(suàn)平台内平台服務層的(de)核心支撐組件，承載著(zhe)可(kě)提供的(de)數據服務資源，并對(duì)服務提供者和(hé)使用(yòng)者搭建一個(gè)可(kě)交互共享的(de)服務中介平台，兼容适配異構多(duō)雲，解決分(fēn)布式數據訪問和(hé)不同應用(yòng)間訪問調用(yòng)的(de)差異問題，将跨地域、跨層級、跨部門的(de)應用(yòng)系統及數據有機地聯系與整合在一起，實現了(le)全網分(fēn)布式信息共享和(hé)資源綜合利用(yòng)。

技術淺析

傳輸可(kě)觀察

提供可(kě)觀察性，實現傳輸過程的(de)可(kě)見、透明(míng)、白盒化(huà)

●日志采集+解析：指标度量、分(fēn)布式鏈路、結構化(huà)日志、傳輸賬單

●标準數據格式和(hé)上報API

●開放數據格式和(hé)采集API

高(gāo)可(kě)靠傳輸

網絡可(kě)靠：檢測-重傳機制

●差錯檢測：數據摘要/指紋→錯誤重傳

●丢包檢測

●發送方檢測：定時(shí)檢查等待的(de)确認→超時(shí)重傳

●接收方檢測：協商連續編号/數據清單→選擇重傳

●重複檢測：唯一性數據标識/摘要指紋→冗餘過濾

●順序檢測：時(shí)間戳/有序編号→重新排序

節點可(kě)靠性

●本地持久化(huà)緩沖，支持斷電保護、異常恢複

●滾動WAL和(hé)異步落盤，降低持久化(huà)影(yǐng)響

●節點HA集群

對(duì)賬支持

●輸出邊界賬單，供外部對(duì)賬

可(kě)靠與性能的(de)平衡

高(gāo)性能傳輸

并發模型

●非阻塞異步IO：epoll多(duō)路複用(yòng)、Reactor線程模型

協議(yì)效率

●七層HTTP  四層TCP

●減少報文冗餘，支持二進制格式（壓縮透傳）

大(dà)報文：超過發送緩沖區(qū)大(dà)小

●分(fēn)塊并發：切分(fēn)參數支持靜态配置、動态統計更新

●流水(shuǐ)線并發、多(duō)鏈路并行、多(duō)核心并行

●内部編号，确保接收端的(de)可(kě)靠拼裝

●斷點續傳

文件系統

●零拷貝

●小文件合并：拼包，對(duì)齊MTU；減少新建連接數

适應性傳輸

根據功能、部門及業務等因素動态構建差異化(huà)、隔離的(de)專用(yòng)虛拟通(tōng)道

●綁定資源池（ CPU、線程、内存、網絡、磁盤）、傳輸策略（優先級、可(kě)靠性等）

适應不同優先級、可(kě)靠性、安全要求、傳輸策略的(de)精準、平衡需要

●高(gāo)可(kě)靠 vs. 高(gāo)吞吐

●大(dà)報文&大(dà)文件傳輸 vs. 普通(tōng)請求服務

應用(yòng)場(chǎng)景

邏輯上把請求過程和(hé)響應過程分(fēn)成異步的(de)兩部分(fēn)，但在具體的(de)物(wù)理(lǐ)協議(yì)适配上：

●對(duì)于HTTP這(zhè)種同步請求響應的(de)協議(yì)，在節點側同步阻塞響應，保持物(wù)理(lǐ)的(de)同步調用(yòng)

●對(duì)于PCI這(zhè)種異步請求響應的(de)協議(yì)，就原生支持了(le)；當然目前提供的(de)PCI Client API的(de)封裝版本rbsp api，有實現應用(yòng)側的(de)異步仿真同步。