CTG-MBOSS EDA-ODS技術規(guī)范

《CTG-MBOSS EDA-ODS技術規(guī)范》由會員分享，可在線閱讀，更多相關《CTG-MBOSS EDA-ODS技術規(guī)范（83頁珍藏版）》請在裝配圖網(wǎng)上搜索。

技術規(guī)范 版本 007 年 7 月 范 版權(quán)所有，注意保密 i 術規(guī)范 目 錄 1 文檔說明 ..................................................... 1 制說明 ..................................................... 1 用范圍 ..................................................... 2 草單位 ..................................................... 2 釋權(quán) ....................................................... 2 權(quán) ......................................................... 2 2 系統(tǒng)技術架構(gòu) ................................................. 3 統(tǒng)技術架構(gòu) ................................................. 3 統(tǒng)技術特點 ................................................. 4 量數(shù)據(jù)加載和實時數(shù)據(jù)更新并存 ........................... 4 范式模型、星型模型、寬表模型并存 ....................... 5 粒度數(shù)據(jù)和匯總數(shù)據(jù)并存 ................................. 5 務查詢和統(tǒng)計查詢的并存 ................................. 5 據(jù)保存周期介于生產(chǎn)系統(tǒng)和 ....................... 5 統(tǒng)總體技術要求 ............................................. 5 3 系統(tǒng)功能框架 ................................................. 7 述 ......................................................... 7 據(jù)整合域 ................................................... 8 ................................................. 8 據(jù)更新配置 ............................................ 11 據(jù)質(zhì)量管理域 .............................................. 12 據(jù)質(zhì)量檢查 ............................................ 13 據(jù)質(zhì)量執(zhí)行 ............................................ 15 據(jù)共享域 .................................................. 19 享配置管理 ............................................ 19 范 版權(quán)所有，注意保密 術規(guī)范 據(jù) /服務提供 ........................................... 19 享權(quán)限控制 ............................................ 20 據(jù)應用域 .................................................. 20 據(jù)查詢 ................................................ 20 定報表 ................................................ 20 算應用 ................................................ 21 態(tài)報表 ................................................ 21 共管理域 .................................................. 22 統(tǒng)管理 ................................................ 22 統(tǒng)監(jiān)控 ................................................ 30 數(shù)據(jù)管理 .............................................. 32 4 系統(tǒng)技術要求 ................................................ 35 據(jù)整合 .................................................... 35 術要求 ................................................ 35 術建議 ................................................ 36 據(jù)存儲 .................................................... 37 術要求 ................................................ 37 術建議 ................................................ 38 據(jù)應用 .................................................... 39 術要求 ................................................ 39 術建議 ................................................ 40 據(jù)共享 .................................................... 40 術要求 ................................................ 41 術建議 ................................................ 41 數(shù)據(jù)管理 .................................................. 41 術要求 ................................................ 41 范 版權(quán)所有，注意保密 術規(guī)范 術建議 ................................................ 42 5 系統(tǒng)實施 .................................................... 43 施原則 .................................................... 43 施建議 .................................................... 44 要系統(tǒng)改造建議 ........................................ 44 程和崗位調(diào)整建議 ...................................... 46 ......................................... 46 施步驟 .................................................... 47 施進度 ................................................ 47 施步驟 ................................................ 48 6 系統(tǒng)部署 .................................................... 50 統(tǒng)部署的參考因素 .......................................... 50 統(tǒng)部署模式 ............................................ 51 式一：集團 集中 ............................ 51 式二：集團 集中 地運營數(shù)據(jù)平臺 ........... 54 式演進 .................................................... 56 7 附錄 ........................................................ 56 制人員 .................................................... 56 統(tǒng)物理架構(gòu)、硬件配置估算及硬件配置示例 ................ 57 統(tǒng)物理架構(gòu)圖示例 ....................... 錯誤 !未定義書簽。 統(tǒng)硬件 配置估算方法 ..................... 錯誤 !未定義書簽。 統(tǒng)存儲規(guī)劃 ............................. 錯誤 !未定義書簽。 件配置示例 ............................. 錯誤 !未定義書簽。 三方工具評價標準及產(chǎn)品比較 ................................ 63 ................................................ 63 表工具 ................................................ 68 范 版權(quán)所有，注意保密 術規(guī)范 數(shù)據(jù)管理工具 .......................................... 75 范 版權(quán)所有，注意保密 1 術規(guī)范 1 文檔說明 制說明 中國電信集團明確提出了客戶品牌統(tǒng)領市場經(jīng)營工作的要求，在市場經(jīng)營的各項具體工作中細化和逐步落實客戶化經(jīng)營思路，適應以“產(chǎn)品”為中心向以“客戶”為中心的轉(zhuǎn)變，要求在市場經(jīng)營的各項具體工作中細化和逐步落實客戶化經(jīng)營思路。市場的轉(zhuǎn)型對于銷策劃、銷售、服務、統(tǒng)計分析等工作提出了更高的要求，需要相關流程的變更和優(yōu)化，需要建立和應用 360度客戶統(tǒng)一視圖信息，在各環(huán)節(jié)中應用客戶統(tǒng)一視圖信息，同時實現(xiàn)信息在各渠道和前后端的進一步共享。在客戶化流程的設計中我們發(fā)現(xiàn) 客戶服務和營銷過程越來越依賴于頻繁地查詢集成的客戶信息，這些都需要跨系統(tǒng)運營數(shù)據(jù)的支撐；同時，由于各系統(tǒng)數(shù)據(jù)標準不一致，存在同樣信息在不同系統(tǒng)中取值不同的現(xiàn)象，帶來了信息的不一致，無法取得一致的統(tǒng)計分析數(shù)據(jù)，不利于企業(yè)的精確化管理，給業(yè)務發(fā)展帶來一定影響。 中國電信 營數(shù)據(jù)倉儲）對于解決以上問題是及時和有效的。 數(shù)據(jù)整合（承載客戶統(tǒng)一視圖 ）、數(shù)據(jù)共享、跨系統(tǒng)數(shù)據(jù)應用和數(shù)據(jù)質(zhì)量檢查。隨著 費、服務開通、資源等核心 其是 費省集中系統(tǒng)的逐步到位以及客戶品牌統(tǒng)領市場經(jīng)營工作對 得 為承載企業(yè)數(shù)據(jù)模型及數(shù)據(jù)標準，并據(jù)此整合各系統(tǒng)數(shù)據(jù)以實現(xiàn)企業(yè)跨系統(tǒng)數(shù)據(jù)共享，提供跨系統(tǒng)數(shù)據(jù)應用，提升數(shù)據(jù)質(zhì)量的最好承載平臺。 因此，作為對中國電信 一各省和系統(tǒng)集成商的認識， 解決 以上 問題， 我們 制定了中國電信運營數(shù)據(jù)倉儲（簡稱 關規(guī)范，主要包含《 體規(guī)范 以下簡稱 《 技術 規(guī)范 以下簡稱 。 范 版權(quán)所有，注意保密 2 術規(guī)范 范 主要 介紹了 業(yè)務 目標 、系統(tǒng)目標、 系統(tǒng) 架構(gòu)、 系統(tǒng)邊界 及系統(tǒng)演進等方面的內(nèi)容，明確指出了中國電信 能及與其它周邊系統(tǒng)的邊界劃分原則。 術 規(guī)范主要介紹了 統(tǒng)技術架構(gòu)、功能框架、系統(tǒng)總體及各功能域各自的技術特點和技術要求以及 統(tǒng)實施與 系統(tǒng)部署等方面的內(nèi)容。 術規(guī)范從技術和實施角度指導各省 建設。 與此規(guī)范配套下發(fā)的還有中國電信 型 中 部分作為 接作為 用范圍 本規(guī)范適用的范圍為 中國電信集團公司 。 草單位 本規(guī)范起草單位為中國電信集團公司。 （參加編寫 術規(guī)范 的人員名單見附錄一。） 釋權(quán) 本規(guī)范的解釋權(quán)屬于中國電信集團公司。 權(quán) 本規(guī)范的版權(quán)屬于中國電信集團公司。 范 版權(quán)所有，注意保密 3 術規(guī)范 2 系統(tǒng)技術架構(gòu) 統(tǒng)技術架 構(gòu) 遵照《 體規(guī)范 對 成統(tǒng)一的企業(yè)運營數(shù)據(jù)。 統(tǒng)一方面承擔提供跨系統(tǒng)運營數(shù)據(jù)的共享職能，另一方面承擔基于運營數(shù)據(jù)的查詢、統(tǒng)計報表和批量計算功能，同時作為數(shù)據(jù)倉庫的主要數(shù)據(jù)來源。 統(tǒng)需實現(xiàn)的功能需要由相應的技術架構(gòu)實現(xiàn)支撐。 費、網(wǎng)上客服中心、 10000 號等系統(tǒng)通過 過對源數(shù)據(jù)的清洗、轉(zhuǎn)換在 礎數(shù)據(jù)，根據(jù)應用需要， 基于系統(tǒng)中整合與匯總好的數(shù)據(jù)， 統(tǒng)上以 B/表等數(shù)據(jù)應用， 據(jù)視圖、數(shù)據(jù)服務等形式向外圍的生產(chǎn)系統(tǒng)提供共享數(shù)據(jù)，與生產(chǎn)系統(tǒng)配合完成跨域應用支撐。 范 版權(quán)所有，注意保密 4 術規(guī)范 圖 2統(tǒng)技術特點 依照 不同于以統(tǒng)計分析為主的數(shù)據(jù)倉庫系統(tǒng)。系統(tǒng)需要支撐跨域數(shù)據(jù)查詢功能，還需要支撐生產(chǎn)系 統(tǒng)對一定周期內(nèi)運營數(shù)據(jù)數(shù)據(jù)統(tǒng)計與計算功能。 系統(tǒng)的定位決定了 量數(shù)據(jù)加載和實時數(shù)據(jù)更新并存 需要從生產(chǎn)系統(tǒng)準實時同步客戶、產(chǎn)品實例、賬戶等數(shù)據(jù)，并對 范 版權(quán)所有，注意保密 5 術規(guī)范 范式模型、星型模型、寬表模型并存 口層數(shù)據(jù)和源系統(tǒng)數(shù)據(jù)采用相同的基于 3 了加快外系統(tǒng)查詢 性能，整合數(shù)據(jù)層數(shù)據(jù)需要做部分反范式處理。 整合層數(shù)據(jù)經(jīng)過匯總和整理后，進入?yún)R總數(shù)據(jù)層。匯總數(shù)據(jù)層主要面向報表應用，需要部分采用星型模型設計方法，對于部分復雜查詢應用可以采用寬表設計模型。 粒度數(shù)據(jù)和匯總數(shù)據(jù)并存 要提供面向單個客戶的查詢和統(tǒng)計功能，因此需要保存單個客戶、清單、帳單等細粒度數(shù)據(jù)；同時， 需要保存部分運營匯總數(shù)據(jù)。 務查詢和統(tǒng)計查詢的并存 時需要提供基于渠道經(jīng)理、地域等維度的匯總數(shù)據(jù)的統(tǒng)計查詢應用。 據(jù)保存周期介于生產(chǎn)系統(tǒng)和 間 生產(chǎn)系統(tǒng)不需要支撐大量的分析應用，所以只需要保存當前最新的業(yè)務數(shù)據(jù)；數(shù)據(jù)倉庫需要提供經(jīng)營決策分析功能，所以需要存儲較長周期的業(yè)務數(shù)據(jù)。 統(tǒng)結(jié)合了兩者的特點，既需要提供準實時的運營數(shù)據(jù)的查詢，也需要提供基于一定周期運營數(shù)據(jù)的統(tǒng)計報表和批量計算應用。因此， 統(tǒng)總體技術要求 生產(chǎn)系統(tǒng)和 負著客戶統(tǒng)一 視圖、跨域數(shù)據(jù)共享、運營報表展示和查詢統(tǒng)計等功能。從上節(jié)“系統(tǒng)總體技術特點”描述可以看出 統(tǒng)的雙重特征，因 范 版權(quán)所有，注意保密 6 術規(guī)范 此系統(tǒng)配置的軟硬件需要兼顧到在線處理的性能和批量數(shù)據(jù)更新、匯總與查詢的效率。另外作為中國電信 撐系統(tǒng)之一，系統(tǒng)的實現(xiàn)應參考國際標準 內(nèi) 結(jié)合中國電信 用先進可靠的設備和技術，確保系統(tǒng)的先進性和成熟性，保證投資的有效性和延續(xù)性。 網(wǎng)絡與硬件方面： 1. 采用安全可靠的高速磁盤陣 列設備，支持多機高可用群集系統(tǒng)，磁盤陣列與主機系統(tǒng)采用 2. 采用高速可靠的網(wǎng)絡設備，提供高速的 I/ 3. 主機支持多機群集或海量并行處理技術， 支持分區(qū)技術 ； 4. 主機采用高可用性 (負載均衡的方式， 防止單點故障，提高系統(tǒng)可用性和系統(tǒng)資源的使用率。 軟件方面： 1. 選擇對 2. 選擇能對數(shù)據(jù)整合過程進行有效監(jiān)控和管理的數(shù)據(jù)整合工具或技術； 3. 數(shù)據(jù)質(zhì)量管理是 統(tǒng)承擔的重要任務， 擇的數(shù)據(jù)質(zhì)量管理工具或者自行開發(fā)的數(shù)據(jù)質(zhì)量管理功能需要對進入 統(tǒng)的數(shù)據(jù)實施全程閉環(huán)的數(shù)據(jù)質(zhì)量審核和修正，提高中國電信運營數(shù)據(jù)質(zhì)量； 4. 選擇提供各種接入方式的報表查詢和統(tǒng)計分析功能的報表工具； 5. 選擇為業(yè)務處理、技術實現(xiàn)等環(huán)節(jié)提供清晰的系統(tǒng)導航功能的元數(shù)據(jù)管理工具，； 6. 采用能對系統(tǒng)內(nèi)的軟硬件節(jié)點進行監(jiān)控和自動預警的系統(tǒng)監(jiān)控軟件； 7. 制定完善的備份與恢復策略，采用成熟的備份軟硬件，提供快速備份與恢復功能； 范 版權(quán)所有，注意保密 7 術規(guī)范 8. 由于 同時滿足前端應用的快速響應和后端數(shù)據(jù)的實時及批量更新，因此 模型應該采用分層設計方法，兼容兩類特征，其中 整合層也會做適度的反范式處理來滿足 系統(tǒng)的建設要求； 9. 為了滿足數(shù)據(jù)的高速加載， 系統(tǒng)需進行相關優(yōu)化操作， 優(yōu)化數(shù)據(jù) 抽取調(diào)度策略 ，避免 資源的爭搶 ，設計 良好的數(shù)據(jù)文件 /表空間 /數(shù)據(jù)表存儲規(guī)劃， 保證數(shù)據(jù)在磁盤的優(yōu)化分布； 10. 對于數(shù)據(jù)共享層的訪問應采用獨立接口的原則，將 數(shù)據(jù) 封裝為獨立 接口層 提供外部 訪問， 避免 高數(shù)據(jù)安全性。 3 系統(tǒng)功能框架 述 為了在業(yè)務和 于中國電信 承中國電信 以 定此功能框架，以明確界定 作為 本框架遵循 系統(tǒng)服務對象和支撐對象的角度，將 據(jù)整合域、數(shù)據(jù)共享域、數(shù)據(jù)應用域、數(shù)據(jù)質(zhì)量管理域、公共管理域，如圖 3示： 范 版權(quán)所有，注意保密 8 術規(guī)范 圖 3統(tǒng)功能框架 據(jù)整合域 數(shù)據(jù)整合域是 統(tǒng)的關鍵部分， 過多種 技術準實時或?qū)崟r地 從源系統(tǒng)中 抽取 數(shù)據(jù) ，抽取過來的數(shù)據(jù)首先到達 后經(jīng)過轉(zhuǎn)換等 工作到達整合數(shù)據(jù)層，形成 合層的數(shù)據(jù)通過整合、計算、匯總形成匯總層的數(shù)據(jù)。數(shù)據(jù)整合 域 功能主要 包括 合 據(jù)抽取 實施時需要綜合考慮業(yè)務需求、抽取效率、源系統(tǒng)代價等因素確定抽取策略，抽取策略包括抽取方式（增量、全量）、抽取時機、抽取周期等。 范 版權(quán)所有，注意保密 9 術規(guī)范 [功能要求 ] 1. 支持增量、全量、異步和同步抽取方式； 2. 支持多種不同系統(tǒng)平臺和數(shù)據(jù)類型的數(shù)據(jù)抽取。包括各種關系型數(shù)據(jù)庫系統(tǒng)、各種文件格式的源數(shù)據(jù)等。 據(jù)映射 源系統(tǒng)數(shù)據(jù)通過整合從源系統(tǒng)進 入到 據(jù)的格式和定義都有不同程度的變化，因此需要在數(shù)據(jù)整合過程中通過數(shù)據(jù)映射方式進行轉(zhuǎn)換，數(shù)據(jù)映射主要定義數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)定義方面的映射關系。 [功能要求 ] 1. 提供圖形化可操作數(shù)據(jù)映射界面； 2. 提供多種關系的數(shù)據(jù)映射方式，如 一對一 、 一對多 、 多對一 、多對多。 據(jù)轉(zhuǎn)換 數(shù)據(jù)轉(zhuǎn)換包括格式和類型轉(zhuǎn)換、數(shù)據(jù)翻譯、數(shù)據(jù)匹配、數(shù)據(jù)聚合以及其他復雜計算等。多數(shù)情況下，數(shù)據(jù)源到 據(jù)翻譯、數(shù)據(jù)匹配，而數(shù)據(jù)聚合以及其他復雜計算主要在數(shù)據(jù)匯總時出現(xiàn)。 [功能要求 ] 1. 支持在不同業(yè)務系統(tǒng)之間數(shù)據(jù)轉(zhuǎn)換。 2. 支持不同的數(shù)據(jù)源系統(tǒng)平臺。 3. 支持數(shù)據(jù)的定義、數(shù)據(jù)結(jié)構(gòu)和錯誤數(shù)據(jù)的轉(zhuǎn)換處理。 據(jù)檢查 對于文件接口的數(shù)據(jù)的檢查，主要從接口數(shù)據(jù)的完整性、及時性和正確性三個方面進行檢查，系統(tǒng)根據(jù)接收文件的時間、入庫是否異常等角度進行分析；對于業(yè)務應用系統(tǒng)的 范 版權(quán)所有，注意保密 10 術規(guī)范 數(shù)據(jù)庫接口，系統(tǒng)主要從接口的及時性和一致性方面進行檢查，通過比較源系統(tǒng)的相關指標，分析數(shù)據(jù)的可信度。 [功能要求 ] 1. 支持接口文件檢查，包括文件名、記錄數(shù)、實體完整性檢查等； 2. 支持接口數(shù)據(jù)檢查，包括數(shù)據(jù)類型、實體完整性等。 據(jù)加載 數(shù)據(jù)加載 是指將抽取轉(zhuǎn)換后的數(shù)據(jù)加載到 括數(shù)據(jù)行加載和數(shù)據(jù)塊加載。在綜合考慮效率和業(yè)務實現(xiàn)等因素基礎上確定數(shù)據(jù)加載周期和數(shù)據(jù)追加策略。 [功能要求 ] 1. 支持批量數(shù)據(jù)的數(shù)據(jù)庫直接加載； 2. 支持多個數(shù)據(jù)庫連接，能夠進行大量數(shù)據(jù)的并行加載； 3. 支持自動與手工預加載的流程。當日常數(shù)據(jù)加載出錯，一般采用人工干預的方式來進行，這時需提供一個數(shù)據(jù)重新接收、加載的操作界面； 4. 支持多種加載數(shù)據(jù)的方式，如直接追加、全部覆蓋、更新追加。 ?？刂? 主要通過計數(shù)／統(tǒng)計數(shù)平衡、拒絕數(shù)據(jù)量等方便評估數(shù)據(jù)復制、 具體運行情況，以發(fā)現(xiàn)數(shù)據(jù) 整合過程中有關數(shù)據(jù)的問題，并進行必要的處理。 [功能要求 ] 1. 支持校驗點。當外部數(shù)據(jù)記錄特別龐大時，如果因為某種原因發(fā)生故障中斷后，可以從最近的校驗點開始處恢復處理； 2. 支持外部數(shù)據(jù)記錄的錯誤限制定義，同時將發(fā)生錯誤的數(shù)據(jù)記錄輸出。 業(yè)管理 業(yè)管理主要包括初始化作業(yè)、日常 業(yè)、日常復制作業(yè)、異常處理作業(yè) 范 版權(quán)所有，注意保密 11 術規(guī)范 等，同時要求對并發(fā)作業(yè)、高負載作業(yè)有良好的管理。 對于基于 數(shù)據(jù)質(zhì)量檢查和稽核，應該考慮采用統(tǒng)一的作業(yè)控制工具進行作業(yè)調(diào)度和管理。 [功能要求 ] 1. 提供圖形化可操作任務調(diào)度與 管理配置界面； 2. 支持任務屬性配置，可以對各項任務的屬性進行配置，并保存在后臺配置文件中，以備任務調(diào)度按序執(zhí)行； 3. 支持總?cè)蝿盏恼{(diào)度，使其按照設置條件自動按序執(zhí)行任務； 4. 支持分任務的調(diào)度，可按照任務類型、時間、區(qū)域等按照各自設置好的條件進行任務的調(diào)度； 5. 支持任務的回退，需要對某幾項任務進行重新調(diào)度時，可以將任務回退到需要重新調(diào)度的周期。 據(jù)更新配置 需要整合的源系統(tǒng)比較多，其中系統(tǒng)架構(gòu)、數(shù)據(jù)提供能力、以及提供的源數(shù)據(jù)使用要求各有不同，因此在數(shù)據(jù)更新功能方面需要提供靈活的配置能力，提高數(shù)據(jù)整合的效率和便利。 新規(guī)則 配置 提供多種數(shù)據(jù)更新規(guī)則，根據(jù)規(guī)則特點和業(yè)務需要，進行更新規(guī)則的配置。 [功能要求 ] 1. 提供圖形化的操作配置界面； 2. 支持按照源數(shù)據(jù)的生產(chǎn)特性進行有針對性地規(guī)則配置。 范 版權(quán)所有，注意保密 12 術規(guī)范 新方式配置 提供多種數(shù)據(jù)更新實現(xiàn)方式，并且針對不同的數(shù)據(jù)源系統(tǒng)和不同的數(shù)據(jù)需要，進行更新方式的配置。 [功能要求 ] 1. 提供圖形化的操作配置界面； 2. 支持直接追加方式； 3. 支持全部覆蓋方式； 4. 支持更新追加方式。 新頻度配置 在確定更新方式之后，同樣需要提供更新方式的頻度配置能力，需要從數(shù)據(jù)源系統(tǒng)的生產(chǎn)壓力、系統(tǒng)架構(gòu)等方面來考慮頻度。 [功能要 求 ] 1. 提供圖形化的操作配置界面； 2. 提供不同級別的數(shù)據(jù)更新頻度，如秒級、分鐘級、小時級、天或更長時間（包括周和月）。 據(jù)質(zhì)量管理域 數(shù)據(jù)質(zhì)量管理域的功能是為了解決目前普遍的數(shù)據(jù)質(zhì)量頑疾，通過建立數(shù)據(jù)質(zhì)量管理組織機構(gòu)，制定質(zhì)量管理規(guī)范，確定相應的工作流程方法，并在系統(tǒng)中實現(xiàn)質(zhì)量檢查、修正、考核功能，形成數(shù)據(jù)質(zhì)量修正閉環(huán)的機制，確保數(shù)據(jù)質(zhì)量問題由發(fā)散狀態(tài)轉(zhuǎn)為收斂狀態(tài)，并隨著時間的積累逐步逼近真實狀態(tài)。數(shù)據(jù)質(zhì)量問題不可能在一夜之間解決，突擊檢查只能短期內(nèi)改善數(shù)據(jù)質(zhì)量，徹底的解決方式是將其作為一項日常的工作由固定的 組織機構(gòu)來執(zhí)行 。 范 版權(quán)所有，注意保密 13 術規(guī)范 據(jù)質(zhì)量檢查 數(shù)據(jù)質(zhì)量檢查是對數(shù)據(jù)本身執(zhí)行合法性等方面檢查的過程，主要通過設置業(yè)務邏輯規(guī)則來實現(xiàn)對數(shù)據(jù)屬性、數(shù)據(jù)屬性關系、數(shù)據(jù)表關系的檢查。 系統(tǒng)數(shù)據(jù)質(zhì)量 檢查 障源系統(tǒng)數(shù)據(jù)質(zhì)量的改進， 如：對客戶名稱進行檢查、帳戶名稱檢查、用戶名稱檢查、客戶地址檢查、身份證號碼檢查等等。 [功能要求 ] 1. 支持對質(zhì)量檢查的規(guī)則進行配置，支持按照不同源業(yè)務系統(tǒng)進行配置； 2. 提供按照數(shù)據(jù)質(zhì)量規(guī)則進行數(shù)據(jù)檢查功能； 3. 提供數(shù)據(jù)檢查結(jié)果展示功能； 4. 提供數(shù)據(jù)檢查結(jié)果分析統(tǒng)計功能。 系統(tǒng) 數(shù)據(jù)質(zhì)量檢查 對不同系統(tǒng)之間的相同屬性數(shù)據(jù)進行一致性進行檢查，實現(xiàn)跨系統(tǒng)數(shù)據(jù)質(zhì)量檢查： [功能要求 ] 1. 提供對一致性的檢查規(guī)則進行配置； 2. 提供按照數(shù)據(jù)一致性檢查規(guī)則進行數(shù)據(jù)質(zhì)量檢查功能； 3. 提供數(shù)據(jù)檢查結(jié)果展示功能； 4. 提供數(shù)據(jù)檢查結(jié)果進行分析統(tǒng)計功能； 范 版權(quán)所有，注意保密 14 術規(guī)范 據(jù)質(zhì)量預警告警 當發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，需要及時地將質(zhì)量問題形成報告，提供相應的預告警信息，便于針對這些預告警信息進行處理。 [功能要求 ] 1. 支持對一定時間段 內(nèi)的數(shù)據(jù)質(zhì)量告警 /預警信息進行列表顯示； 2. 告警 /預警信息應包括數(shù)據(jù)質(zhì)量審核問題單相關信息； 3. 針對每條數(shù)據(jù)質(zhì)量檢查規(guī)則可以設置是否作為告警 /預警信息出現(xiàn)在告警 /預警界面。 據(jù) 質(zhì)量評估分析 數(shù)據(jù)質(zhì)量評估分析是指通過配置數(shù)據(jù)質(zhì)量問題分析解決過程中的各項考核指標，對數(shù)據(jù)質(zhì)量問題處理情況進行分析，使管理層能以直觀（報表查詢界面）的方式了解通過 [功能要求 ] 1. 支持總量評估功能，以報告模式對連續(xù)幾個周期（或某個固定周期）的需要評估總量的數(shù)據(jù)質(zhì)量檢查 /稽核報告（可配置），統(tǒng)計各類錯誤數(shù)，從總體上對數(shù)據(jù)質(zhì)量的收斂度進行評估 ； 2. 支持源系統(tǒng)數(shù)據(jù)質(zhì)量問題評估功能，以報告模式提供按源系統(tǒng)匯總連續(xù)幾個周期（或某個固定周期）的各數(shù)據(jù)質(zhì)量問題報告，統(tǒng)計各類錯誤，對各源系統(tǒng)的質(zhì)量的收斂度進行評估； 3. 支持專項數(shù)據(jù)質(zhì)量問題評估功能，根據(jù)連續(xù)幾個周期（或某個固定周期）的質(zhì)量問題報告，以報告模式對重點關注的質(zhì)量專題，制定專題規(guī)則進行分析并對結(jié)果予以評估。 范 版權(quán)所有，注意保密 15 術規(guī)范 務規(guī)則檢查 源系統(tǒng)數(shù)據(jù)質(zhì)量表現(xiàn)出來的問題，可能是業(yè)務規(guī)則設置、業(yè)務理解或?qū)崿F(xiàn)的問題，那么對這些問題的修正，需要源系統(tǒng)修改業(yè)務 處理規(guī)則。系統(tǒng)通過提供業(yè)務規(guī)則檢查功能，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，對該問題進行解決。 [功能要求 ] 1. 支持業(yè)務規(guī)則設定，能夠隨著業(yè)務的發(fā)展進行擴展； 2. 支持按照業(yè)務規(guī)則對數(shù)據(jù)進行檢查，并能夠生成檢查報告； 據(jù)閥值監(jiān)控 數(shù)據(jù)閥值監(jiān)控是指 數(shù)據(jù)在 理過程中，對于抽取、轉(zhuǎn)換、加載、匯總等環(huán)節(jié)提供閥值監(jiān)控功能；提供環(huán)節(jié)和數(shù)據(jù)處理方式的不同設定閥值功能，同時根據(jù)設定閥值進行監(jiān)控，并顯示監(jiān)控信息。 [功能要求 ] 1. 支持數(shù)據(jù)閥值的設定，閥值的觸發(fā)點可以設置到不同的環(huán)節(jié)，或者不同的數(shù)據(jù)處理方式； 2. 支持閥值觸發(fā)點的擴充，以適應監(jiān)控 的需求擴展； 3. 支持閥值的動態(tài)監(jiān)控，能夠?qū)崟r地顯示監(jiān)控報告。 據(jù)質(zhì)量執(zhí)行 則調(diào)度策略 規(guī)則通過規(guī)則調(diào)度引擎來調(diào)度執(zhí)行，調(diào)度引擎可以是 具，也可以是工作流產(chǎn)品或者單獨開發(fā)的程序，根據(jù)規(guī)則特點和業(yè)務需要，配置對規(guī)則的調(diào)度策略。規(guī)則調(diào)度策略：事件策略、時間策略、頻度策略、控制順序策略等。 [功能要求 ] 1. 支持事件策略：只有當某事件發(fā)生時才會調(diào)度執(zhí)行某規(guī)則。比如 程對文件 范 版權(quán)所有，注意保密 16 術規(guī)范 檢查規(guī)則、記錄檢查規(guī)則的設定。 2. 支持時間策略：某些規(guī)則執(zhí)行耗時長，資源占用量大，可以考慮安排特殊事件予以調(diào)度執(zhí)行； 3. 支持頻度策略：重要 數(shù)據(jù)重要業(yè)務檢查內(nèi)容，可以安排頻度較高的調(diào)用； 4. 支持控制順序策略：某些規(guī)則之間具有調(diào)用的先后順序，故需要預先設定。 則執(zhí)行日志 對規(guī)則執(zhí)行結(jié)果必須通過日志、報告予以詳盡記錄。 規(guī)則執(zhí)行日志是質(zhì)量管理文檔化的一部分，主要記錄異常數(shù)據(jù)的狀況，這些異常數(shù)據(jù)是質(zhì)量分析的主要依據(jù)。 通過規(guī)則執(zhí)行日志，可以把握數(shù)據(jù)質(zhì)量宏觀、微觀、收斂性等各方面情況。比如宏觀上，了解數(shù)據(jù)質(zhì)量匯總后的狀況；微觀上，清楚每一個質(zhì)量問題涉及的記錄；質(zhì)量收斂性方面，把握前后兩次檢查稽核中錯誤重復出現(xiàn)的記錄數(shù)、新增錯誤數(shù)、已改正錯誤數(shù)，以及錯誤 發(fā)展的趨勢狀況。 [功能要求 ] 1. 支持定義錯誤類型和錯誤代碼：通過錯誤分類和錯誤代碼，可以更好地描述和理解錯誤； 2. 支持定義源表與目標表映射關系：定義源系統(tǒng)表與 統(tǒng)目標表之間的映射關系，便于跟蹤錯誤； 3. 支持定義滿足日志記錄的錯誤表群：每個錯誤必須能記錄到記錄級，并且能詳盡記錄稽核時間、批次等信息。如：執(zhí)行批次表、錯誤匯總表、錯誤記錄表、錯誤比對表等； 4. 支持記錄每次規(guī)則執(zhí)行的匯總信息，作為稽核報告的數(shù)據(jù)基礎：規(guī)則執(zhí)行結(jié)束后，適時對執(zhí)行結(jié)果進行匯總記錄，并形成對應執(zhí)行報告。規(guī)則的每次執(zhí)行，都必須有詳盡的記錄， 必須滿足對執(zhí)行結(jié)果的分析。 范 版權(quán)所有，注意保密 17 術規(guī)范 常通知機制 異常通知機制是指對于數(shù)據(jù)在處理過程中，對于抽取、轉(zhuǎn)換、加載、匯總等各個環(huán)節(jié)中產(chǎn)生的異常進行通知功能。 [功能要求 ] 1. 支持處理多種異常的觸發(fā)方式，主要包括數(shù)據(jù)異常、操作異常等； 2. 支持多種異常通知方式：支持通過瀏覽器方式顯示異常信息，支持通過郵件方式發(fā)送異常信息，支持通過短信方式發(fā)送異常信息。 常數(shù)據(jù)報告 異常數(shù)據(jù)報告是指對于數(shù)據(jù)在 理過程中，對于抽取、整合、加載、匯總等各個環(huán)節(jié)中產(chǎn)生的異常數(shù)據(jù)提供分類統(tǒng)計功能。 [功能要求 ] 1. 支持按照產(chǎn)品、業(yè)務、時間等多個維度 進行異常數(shù)據(jù)分類統(tǒng)計和分析； 2. 支持按照產(chǎn)品、業(yè)務、時間等多個維度進行異常數(shù)據(jù)分類展現(xiàn)功能。 量管理流程 數(shù)據(jù)質(zhì)量管理總體上來說，是遵循發(fā)現(xiàn)問題、分析問題、制定解決方案、解決問題的閉環(huán)循環(huán)過程。逐步地提高數(shù)據(jù)質(zhì)量。 [功能要求 ] 1. 要求提供流程工具來支持質(zhì)量管理流程的實現(xiàn)； 2. 支持質(zhì)量管理流程模板的制定，能夠按照質(zhì)量問題分類、源系統(tǒng)等屬性進行配置； 3. 支持數(shù)據(jù)質(zhì)量管理流程閉環(huán)，保證各種質(zhì)量問題有對應的處理機制； 4. 要向源系統(tǒng)提供異常數(shù)據(jù)清單； 5. 支持質(zhì)量問題發(fā)現(xiàn)、分析、解決、確認的持續(xù) 改進過程； 范 版權(quán)所有，注意保密 18 術規(guī)范 6. 提供各個環(huán)節(jié)的監(jiān)控和操作功能。 則庫管理 規(guī)則庫是一系列規(guī)則的集合，每一個規(guī)則的制定都是為了完成一個特定的數(shù)據(jù)稽核 /檢查任務，通過執(zhí)行規(guī)則可以找出數(shù)據(jù)質(zhì)量存在的問題。規(guī)則根據(jù)需要而制定，既可以是技術規(guī)則，也可以是業(yè)務規(guī)則；既可以針對數(shù)據(jù)總量（總量級規(guī)則），也可以針對具體記錄（記錄級規(guī)則）。 [功能要求 ] 1. 支持在統(tǒng)一的模塊中，能夠?qū)崿F(xiàn)多種業(yè)務規(guī)則、技術規(guī)則的配置； 2. 支持規(guī)則的版本管理。 據(jù)修正考核 數(shù)據(jù)問題是指數(shù)據(jù)記錄個體的問題，是由于歷史原因、操作失誤、或信息不全等導致的，如： ? 不正確數(shù)據(jù)： 數(shù)據(jù)無效或錯誤，違反數(shù)據(jù)約束規(guī)則、業(yè)務規(guī)則等； ? 不完整數(shù)據(jù)：某些信息缺失或未填充，雖然不影響源系統(tǒng)正常運轉(zhuǎn)，但這些信息的缺失會影響 ? 不一致數(shù)據(jù)：源系統(tǒng)彼此間信息存在沖突和差異，或者同一源系統(tǒng)內(nèi)部的冗余信息之間存在沖突。 數(shù)據(jù)問題需在源系統(tǒng)中對問題數(shù)據(jù)進行補錄、修改，數(shù)據(jù)問題修正后就能得到改進，避免重復發(fā)生，可提升源系統(tǒng)的數(shù)據(jù)質(zhì)量。 夠?qū)υ聪到y(tǒng)數(shù)據(jù)修正情況進行考核。 [功能要求 ] 1. 支持對不同源系統(tǒng)數(shù)據(jù)問題修正率的分析與展示。 范 版權(quán)所有，注意保密 19 術規(guī)范 據(jù)共享域 數(shù)據(jù)共享域的功能是基于數(shù)據(jù)整合域所形成的統(tǒng)一數(shù)據(jù) 視圖，通過集中的數(shù)據(jù) /服務提供功能，為各業(yè)務應用系統(tǒng)提供非自有數(shù)據(jù)的共享，優(yōu)化目前各業(yè)務應用系統(tǒng)間網(wǎng)狀的數(shù)據(jù)流轉(zhuǎn)方式，簡化數(shù)據(jù)共享邏輯，降低數(shù)據(jù)不一致的風險。數(shù)據(jù)共享域的功能包括共享配置管理、數(shù)據(jù) /服務提供和共享權(quán)限控制。 享配置管理 共享配置管理對共享數(shù)據(jù)的內(nèi)容和共享接口規(guī)則進行配置。 [功能要求 ] 1. 支持對使用共享數(shù)據(jù)的系統(tǒng)范圍進行配置，定制對其他系統(tǒng)提供的接口數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和語義描述； 2. 支持對共享數(shù)據(jù)訪問頻率和訪問允許時間段進行配置管理； 3. 支持對數(shù)據(jù)直接提供、數(shù)據(jù)服務提供、界面集成等各種共享數(shù)據(jù)的發(fā)布 方式的配置管理。 據(jù) /服務提供 據(jù)庫物理共享、接口表、視圖、數(shù)據(jù)高級復制等技術手段向外部系統(tǒng)直接提供數(shù)據(jù)。 [功能要求 ] 1. 支持通過服務調(diào)用實現(xiàn) 跨平臺應用程序之間 的 應用到應用 (成。 包括 應用程序接口 ( 端方法調(diào)用 (面向消息的中間件以及 務等多 種技術 手段； 2. 要求提供數(shù)據(jù)服務定義、數(shù)據(jù)服務目錄、服務參數(shù)定義的功能； 3. 支持業(yè)務應用系統(tǒng)直接 集成 統(tǒng)的界面 ，以 建立一 些 跨 系統(tǒng)的綜合應用 。 在界面構(gòu)件的合理規(guī)劃和設計下，通過界面集成可以提高開發(fā) 部署效率、提高構(gòu)件的重用性、有利于系統(tǒng)的健壯性和穩(wěn)定性。 范 版權(quán)所有，注意保密 20 術規(guī)范 享權(quán)限控制 作為企業(yè)運營數(shù)據(jù)的共享中心， 是，不同的業(yè)務應用系統(tǒng)所需訪問的數(shù)據(jù)內(nèi)容不同，這就要求根據(jù)共享數(shù)據(jù)的 制各個業(yè)務應用系統(tǒng)對共享數(shù)據(jù)的訪問權(quán)限。 [功能要求 ] 1. 支持共享域中提供的數(shù)據(jù)和數(shù)據(jù)服務的授權(quán)訪問機制，支持對用戶 /角色權(quán)限的定制和對數(shù)據(jù) /數(shù)據(jù)服務的使用權(quán)限的限制； 2. 支持訪問的日志記錄機制。 據(jù)應用域 數(shù)據(jù)應用域通過基于 供查詢、固定報表、動態(tài)報表和批量計算 等應用。 據(jù)查詢 數(shù)據(jù)查詢是一種條件不固定、不可預見、格式靈活的動態(tài)查詢功能，是按需查詢，與預定義的常用查詢相對。用戶可以選擇任意維度（一或多個）進行查詢，它的使用人員無需了解數(shù)據(jù)庫和 需通過系統(tǒng)提供的各種向?qū)浇缑婧吐?lián)機幫助，按照業(yè)務邏輯規(guī)則即可快速、簡潔的定義查詢需求，系統(tǒng)自動完成連接操作、條件定義等 [功能要求 ] 1. 支持客戶統(tǒng)一視圖查詢功能； 2. 等。 定報表 固定報表是基于指標型的報表，對于實時性要求高的報表采用即時生成的模式，而對于實時性要求不高的報表，基于性能影響和資源開 銷兩方面的考慮，應采用后臺通過作業(yè) 范 版權(quán)所有，注意保密 21 術規(guī)范 的方式先自動生成，在需要時可以立即展現(xiàn)結(jié)果。報表展現(xiàn)應支持多種圖表方式，如餅圖、柱圖、線圖等；支持報表數(shù)據(jù)導出為其他文件類型，如 持報表精確打印控制。 [功能要求 ] 1. 支持客戶品牌統(tǒng)計； 2. 企業(yè)數(shù)據(jù)應用門戶的部分報表 ； 3. 支持 4. 等。 算應用 此可以支撐跨系統(tǒng)的數(shù)據(jù)計算方面的業(yè)務要求。但是 是專注于數(shù)據(jù)方面的計算過程。 [功能要求 ] 1. 支持客戶 評價的計算； 2. 支持客戶品牌的標簽； 3. 支持代理商等級計算； 4. 支持代理商傭金計算； 5. 等。 態(tài)報表 基于 以利用報表工具對數(shù)據(jù)進行各主題性的統(tǒng)計。 [功能要求 ] 1. 報表參數(shù)化的定制，針對報表主題可以進行指定條件的內(nèi)容定制，使管理人員能根據(jù)自己的需要生成各種報表，提高應用支撐的靈活性； 2. 支持市場計劃類的統(tǒng)計與監(jiān)控； 3. 支持營銷類活動統(tǒng)計； 范 版權(quán)所有，注意保密 22 術規(guī)范 4. 支持商機類分析統(tǒng)計與監(jiān)控； 5. 支持訂單統(tǒng)計與監(jiān)控； 6. 支持銷售活動統(tǒng)計； 7. 支持 8. 支持合作伙伴考評； 9. 支持客戶用戶數(shù)、產(chǎn)品使用量、業(yè)務收入、欠費、競 爭統(tǒng)計； 10. 等。 共管理域 公共管理域是屬于系統(tǒng)公用的功能，作為其他功能模塊的支撐。 包括三塊功能： 1. 系統(tǒng)管理：系統(tǒng)管理是為保證 統(tǒng)正常運行所需要的基本功能，主要包括系統(tǒng)用戶管理、角色管理、權(quán)限管理、組織管理、備份與恢復、系統(tǒng)日志管理等方面。 2. 系統(tǒng)監(jiān)控：系統(tǒng)監(jiān)控提供一種通用的機制與服務，監(jiān)視組成系統(tǒng)各部件的運行狀態(tài)，當發(fā)生異常時能夠主動地向特定目標通知異常。 3. 元數(shù)據(jù)管理： 數(shù)據(jù)管理為用戶正確理解和操作數(shù)據(jù)提供支撐，它貫穿 行和維護的整個生命周期。 統(tǒng)管理 統(tǒng)用戶管理、權(quán)限管理、角色管理等，確保 統(tǒng)用戶管理 用戶是指授權(quán)訪問 戶管理用來記錄用戶相關信息，如賬戶、密碼等。用戶要擁有對某個主題的操作權(quán)限，必須通過角色去關聯(lián)。 范 版權(quán)所有，注意保密 23 術規(guī)范 1. 用戶名稱（ 全企業(yè)唯一，缺省為員工工號； 2. 用戶的初始密碼由安全管理員設置，統(tǒng)一在系統(tǒng)管理的個人資料錄入中完成； 3. 安全管理員能夠修改用戶的密碼，統(tǒng)一在系統(tǒng)管理的個人資料修改中完成； 4. 各級管理員在本人權(quán)限范圍內(nèi)能夠?qū)τ脩暨M行增加、刪除、修改等操作； 5. 各級管理員在本人權(quán)限范圍 內(nèi)能夠?qū)τ脩裘艽a進行修改； 6. 用戶缺省能夠修改本人的密碼；用戶首次登錄后，系統(tǒng)提示用戶必須進行密碼的修改； 7. 對密碼的要求： ； ? 長度要求： 6 1. 創(chuàng)建角色：當用戶所需的角色不在系統(tǒng)原有 角色中時，可由系統(tǒng)管理員創(chuàng)建新的角色，以滿足用戶的需要； 2. 授予用戶角色：當用戶建立好后，要給用戶授予適當?shù)慕巧@取一定的權(quán)限； 3. 修改用戶角色：可以對用戶的角色進行重新分配，即修改。角色具有以下主要屬性： ? 編號：在系統(tǒng)中唯一； ? 名稱：在系統(tǒng)中唯一； ? 注釋：描述角色信息。 4. 可以刪除角色； 5. 可以根據(jù)角色進行查詢統(tǒng)計。 限管理 權(quán)限指訪問 統(tǒng)的用戶根據(jù)角色獲得對系統(tǒng)某些功能的操作，例如讀、寫、修改和刪除等功能。 授權(quán)管理的基本操作：進行系統(tǒng)管理員身份認證后，為角色分配相應的權(quán)限，修改角色的權(quán)限等操作，相關的 操作結(jié)果存入角色 _權(quán)限表中；并可以在模塊對象發(fā)生變化后，創(chuàng)建對象權(quán)限，相關的操作結(jié)果存入權(quán)限表中。 1. 能夠創(chuàng)建對象權(quán)限：當增加系統(tǒng)對象時，應創(chuàng)建該對象的權(quán)限； 2. 能夠分配角色權(quán)限：給不同的角色分配相應的權(quán)限； 3. 能夠修改角色權(quán)限：根據(jù)需要，可以修改角色的權(quán)限； 4. 權(quán)限設置必須由被授權(quán)的系統(tǒng)管理員完成，管理員不能設置大于自身權(quán)限的權(quán) 范 版權(quán)所有，注意保密 25 術規(guī)范 限；權(quán)限管理采用分級的管理方式。上一級可以設置下一級的管理權(quán)限； 5. 權(quán)限具有以下主要屬性： ? 編號，在系統(tǒng)中唯一； ? 名稱，在系統(tǒng)中唯一； ? 注釋，描述權(quán)限信息。 6. 權(quán)限、角色、用戶之 間具有如下關系： 1）用戶與角色的多對多關系 一個用戶可以隸屬于多個角色，一個角色組也可擁有多個用戶，用戶角色就是用來描述它們之間隸屬關系的對象。用戶通過角色關聯(lián)所擁有對某種資源的權(quán)限。 2）權(quán)限與角色的多對多關系 權(quán)限是一個二元組關系，包括對象和對對象的操作。對象包括用戶操作的系統(tǒng)模塊和數(shù)據(jù)對象，通過權(quán)限與角色的關系來設定角色操作對象的權(quán)限。一個角色可以擁有多個權(quán)限，同樣一個權(quán)限可分配給多個角色。 織管理 組織機構(gòu)包括省、市、縣（區(qū)）各級各類部門、班、組等。組織管理完成對其按組織結(jié)構(gòu)進行統(tǒng)一編碼和維護。 1. 系統(tǒng)按照組織結(jié)構(gòu)對省、市、縣（區(qū)）各級各類部門、班、組等進行統(tǒng)一編碼，按人員的組織結(jié)構(gòu)從上往下進行管理，具體編碼方式和位長可根據(jù)實際情況進行編排； 2. 具有相應權(quán)限的用戶可對省、市、縣（區(qū)）各級各類部門、班、組等進行編碼并進行增加、修改、刪除等操作，并對上下級關系等進行增加、修改、刪除； 3. 系統(tǒng)支持組織機構(gòu)的樹狀層次管理，一個組織機構(gòu)可以有多個子節(jié)點； 范 版權(quán)所有，注意保密 26 術規(guī)范 4. 可以對編碼和組織結(jié)構(gòu)進行查詢統(tǒng)計。 份與恢復 統(tǒng)中的數(shù)據(jù)按既定的策略備份到指定介質(zhì)上。 期或不定期的系統(tǒng)備份，對可能出現(xiàn)的系統(tǒng)故障或錯誤操作有足夠的恢復能力。 數(shù)據(jù)備份系統(tǒng)應以不影響 質(zhì)損壞、人為誤操作等原因引起數(shù)據(jù)丟失后，備份系統(tǒng)應能提供快速的數(shù)據(jù)恢復手段。 1. 數(shù)據(jù)備份要求 ? 數(shù)據(jù) 備份包括操作系統(tǒng)備份、應用系統(tǒng)備份和業(yè)務數(shù)據(jù)備份； ?