InfoSphere CDC 復制原理

InfoSphere CDC 能夠?qū)Π〝?shù)據(jù)倉庫，主數(shù)據(jù)管理，BI，SOA 等在內(nèi)的應用整合及升級項目提供高速、可靠、低延遲的數(shù)據(jù)復制方案，而且對生產(chǎn)系統(tǒng)低影響。由于只復制變化的數(shù)據(jù)，減少了處理的開銷和占用的帶寬。復制可以是持續(xù)的也可以是周期性的。

圖 1 CDC 架構(gòu)圖:

CDC 的關(guān)鍵組件主要的組成部分包括：

Access Server(AS)：用戶配置和監(jiān)控 CDC 引擎的安全管理工具，支持圖形化界面（V6.5 之后集成在 MC 中）及命令行。當用戶登錄 Management Console，就會連接到 AS。在客戶端關(guān)閉 AS，不會影響源服務器到目標服務器到數(shù)據(jù)復制。

Management Console(MC)：CDC 的圖形化界面工具，允許用戶配置、監(jiān)控和管理在多個不同服務器上到數(shù)據(jù)復制，可以在客戶端上復制的參數(shù)，初始化刷新和鏡像。MC 也允許用戶監(jiān)控復制操作、延遲、事件消息和其他源和目標 datastore 支持的統(tǒng)計數(shù)據(jù)。

源端引擎：讀取源端數(shù)據(jù)庫的日志文件捕獲變更數(shù)據(jù)，經(jīng)過行列過濾，字符編碼轉(zhuǎn)換后由 TCP/IP 發(fā)送給目標端。

目標端引擎：接收源端發(fā)送的變更數(shù)據(jù)，經(jīng)過數(shù)值轉(zhuǎn)換，字符編碼轉(zhuǎn)換，沖突檢測后將變更數(shù)據(jù)應用到目標數(shù)據(jù)庫。

Metadata：存儲 CDC 實例的配置信息，包括數(shù)據(jù)庫連接信息，預定信息以及表的映射信息等，同時記錄當前的復制進行狀態(tài)

源和目標 Datastore（數(shù)據(jù)存儲）：存儲的是數(shù)據(jù)文件和數(shù)據(jù)復制需要的 InfoSphere CDC 實例信息。每個 datastore 代表了一個用戶要連接的數(shù)據(jù)庫，存儲要復制的表。

多數(shù)的 CDC 引擎既可作為源端引擎捕獲變化數(shù)據(jù)又可作為目標端引擎接收變化數(shù)據(jù)并將其應用于的數(shù)據(jù)庫；通常，CDC 引擎稱為 CDC 實例，如果從 AS/MC 的角度，一個 CDC 引擎也被稱作一個 CDC 數(shù)據(jù)存儲。

圖 2 CDC 處理數(shù)據(jù)的流向圖

1、當 CDC 處于復制狀態(tài)的時候，CDC 源端引擎中的 log reader 組件將會不停的從源端數(shù)據(jù)庫日志中捕獲所有要復制表的新變化的日志。

2、而 CDC 源端引擎中的 log parser 組件則將這些變化日志中跟 CDC 需要復制的表相關(guān)的日志找出來并根據(jù)其所屬的 transaction ID 放在不同的 transaction queue 中。Transaction queue 是 log parser 在內(nèi)存在分配的一片區(qū)域，專門存放沒有提交的跟 CDC 復制表相關(guān)的事務信息。每個 Transaction queue 會寫在以“txnq”做前綴的文件里，此文件在“/tmp”下可以找到。如果 txnq 開頭的文件大小大于 0 字節(jié)，說明在處理非常大的還沒有提交的事務。當訂閱停止后，transaction queue 里的內(nèi)容會存放在 pointbase 容器里。

3、當 CDC 讀到 commit 觸發(fā)一個事務結(jié)束時，該 transaction queue 將其內(nèi)容提交給 Staging Store 后會釋放相應的內(nèi)存空間。Staging Store 是 CDC 分配的存放已提交的事務信息的內(nèi)存區(qū)域，目標端引擎會自動從 Staging Store 中抽取出其當前要復制的事務信息，一旦數(shù)據(jù)復制到里目標端，該記錄就會從 Staging Store 中刪除。

其中 1, 2, 3 是數(shù)據(jù)在源端引擎的流向。

4、復制表的事務信息通過 TCP/IP 傳送至目標端?？梢岳妙愃?sniffer 的工具來查看持續(xù)的在網(wǎng)絡上的數(shù)據(jù)流。也可以通過 MC 的“activity monitor”來監(jiān)控復制的數(shù)據(jù)情況。

5、目標段將抽取過來的事務信息經(jīng)過必要的轉(zhuǎn)換重新組裝成 SQL 語句。

6、將組裝好的 SQL 語句應用于目標數(shù)據(jù)庫，并更新 bookmark 信息（這個 bookmark 信息是為了保證數(shù)據(jù)的一致性，當由于某種原因復制中斷后，在下次 CDC 重啟后，目標端的 bookmark 信息首先被傳到源端，從而源端從個成功應用到目標數(shù)據(jù)庫的日志開始復制），整個數(shù)據(jù)復制過程完成。

其中 5, 6 是數(shù)據(jù)在目標引擎的流向。

InfoSphere Change Data Capture 提供：

低影響數(shù)據(jù)捕獲

• 基于日志的技術(shù)可近乎實時地復制關(guān)鍵業(yè)務型數(shù)據(jù)事件而不影響系統(tǒng)性能。

• 僅捕獲變更的數(shù)據(jù)并將其從發(fā)布者傳輸?shù)接啈粝到y(tǒng)。

• 基于內(nèi)容，動態(tài)地將數(shù)據(jù)路由到由一個或多個應用程序使用的各種消息隊列。

• 無需數(shù)據(jù)登臺或網(wǎng)關(guān)技術(shù)。

• 在高度安全的環(huán)境中交付敏感數(shù)據(jù)，并使其僅由接收方訪問。

靈活簡單的數(shù)據(jù)交付

• 提供一個 GUI，幫助支持更快速地數(shù)據(jù)集成流程部署。

• 提供監(jiān)控功能，加速故障診斷與排除。

• 支持單向、雙向、多到一和一到多的數(shù)據(jù)交付。

• 使用實時審計功能來提供源表的變更歷史記錄。

與 IBM 和其他系統(tǒng)集成

• 與 IBM InfoSphere DataStage® 集成，提供數(shù)據(jù)訂閱源，進而抽取、變換和裝入 (ETL) 流程并保持事務完整性?；诙x的數(shù)據(jù)規(guī)則更快地進行變更數(shù)據(jù)有效性檢查。

• 將元數(shù)據(jù)集成到 IBM InfoSphere Metadata Workbench，使諸如影響力分析和數(shù)據(jù)沿襲的功能擴展到其余信息管理基礎架構(gòu)。

• 將數(shù)據(jù)事務打包到 XML 文檔并交付給 IBM WebSphere® MQ 之類的消息傳遞中間件，進而支持面向服務架構(gòu) (SOA)。

• 現(xiàn)在作為 IBM InfoSphere Data Replication for DB2 for z/OS® 的組成部分，它與 IBM InfoSphere Change Data Capture for z/OS 和 IBM InfoSphere Replication Server 集成，針對分布式和 IBM System z® 環(huán)境提供廣泛的數(shù)據(jù)庫和操作系統(tǒng)支持。

• 支持 IBM DB2®、IBM i、IBM Informix®、Oracle、Sybase、Microsoft SQL Server、IBM IMS™ 和 Teradata 數(shù)據(jù)庫。