一、數(shù)據(jù)一致性管理面臨的問題

我們通過對數(shù)據(jù)一致性問題案例做深入分析，歸納總結(jié)數(shù)據(jù)一致性的主要問題有四個(gè)方面：業(yè)務(wù)平臺復(fù)雜化、業(yè)務(wù)操作不規(guī)范、管理制度不健全、同步操作流程長。

二、構(gòu)建自動(dòng)化數(shù)據(jù)一致性管理平臺

創(chuàng)新性提出了以智能探針為基礎(chǔ)的自動(dòng)化數(shù)據(jù)采集、比對、同步技術(shù)體系，實(shí)現(xiàn)了以客戶感知為導(dǎo)向的數(shù)據(jù)一致性管理平臺，包括靈活的任務(wù)接入與調(diào)度、智能化的業(yè)務(wù)與接口壓力探針、自動(dòng)化的數(shù)據(jù)采集與比對、準(zhǔn)確高效的分布式并行計(jì)算功能。

1）靈活的任務(wù)接入與調(diào)度

? 提供周期性定時(shí)、實(shí)時(shí)任務(wù)接入

? 提供各種層次粒度的任務(wù)接入和靈活的調(diào)度策略

? 提供多種接口形式與外部系統(tǒng)集成，實(shí)現(xiàn)任務(wù)接入

2）智能化的壓力探針

? 提供業(yè)務(wù)壓力探針技術(shù)、避免業(yè)務(wù)高峰期影響客戶使用感知

? 提供接口壓力探針技術(shù)、避免主機(jī)等資源性能影響

3）自動(dòng)化的數(shù)據(jù)采集與比對、同步

? 實(shí)現(xiàn)多種協(xié)議的數(shù)據(jù)自動(dòng)采集技術(shù)

? 實(shí)現(xiàn)基于規(guī)則的比對、同步技術(shù)

4）準(zhǔn)確高效的分布式并行計(jì)算

? 實(shí)現(xiàn)異構(gòu)環(huán)境的分布式并行計(jì)算技術(shù)

? 實(shí)現(xiàn)高效、準(zhǔn)確的數(shù)據(jù)稽核分析技術(shù)

三、靈活的任務(wù)接入與調(diào)度機(jī)制

提供各種粒度、外部系統(tǒng)的靈活的任務(wù)接入機(jī)制，實(shí)現(xiàn)了數(shù)據(jù)質(zhì)量提升支撐工作的廣泛性，并有效集成各種外部系統(tǒng)，確保了任務(wù)接入渠道的全面性，提高了工作便捷與高效率。

提供負(fù)荷、粒度、時(shí)序三大調(diào)度策略，實(shí)現(xiàn)了客戶感知優(yōu)先的調(diào)度機(jī)制，特別是對一些數(shù)據(jù)一致性問題投訴提供了快速、準(zhǔn)確的處理手段。

四、智能化的業(yè)務(wù)與接口壓力探針

采用智能化壓力探針技術(shù)，實(shí)現(xiàn)對各網(wǎng)元、業(yè)務(wù)系統(tǒng)的接口狀態(tài)和業(yè)務(wù)壓力的實(shí)時(shí)監(jiān)測，并對任務(wù)調(diào)度提供負(fù)荷檢測能力，避免數(shù)據(jù)一致性采集、同步對生產(chǎn)系統(tǒng)的產(chǎn)生不良影響。

五、自動(dòng)化的數(shù)據(jù)采集、比對與同步

提供各業(yè)務(wù)網(wǎng)元、平臺、支撐系統(tǒng)的數(shù)據(jù)采集、比對、同步功能框架，實(shí)現(xiàn)實(shí)時(shí)、增量、全量的自動(dòng)化數(shù)據(jù)比對和同步的技術(shù)能力。有效支撐數(shù)據(jù)一致性常態(tài)化管理工作，提高了工作效率和數(shù)據(jù)準(zhǔn)確性。

六、準(zhǔn)確高效的分布式并行計(jì)算

基于Agent技術(shù)設(shè)計(jì)的分布式并行運(yùn)算框架，集智能Agent、分布式計(jì)算、通信技術(shù)于一體,提供了一個(gè)強(qiáng)大的、統(tǒng)一的和開放的跨平臺并行計(jì)算框架，具有高效率、輕量級、不間斷、分布式特點(diǎn)。