銀行數(shù)據(jù)質(zhì)量管理實踐

來源：中國銀行總行信息科技部

作者：孫中東

現(xiàn)代商業(yè)銀行日常經(jīng)營活動中積累了大量數(shù)據(jù)，這些數(shù)據(jù)除了支持銀行前臺業(yè)務(wù)流程運轉(zhuǎn)之外，越來越多地被用于決策支持領(lǐng)域，風(fēng)險控制、產(chǎn)品定價、績效考核等管理決策過程也都需要大量高質(zhì)量數(shù)據(jù)支持。銀行日常經(jīng)營決策過程的背后，實質(zhì)是數(shù)據(jù)的生產(chǎn)、傳遞和利用過程。

此外，日益全面的和嚴(yán)格的監(jiān)管措施和信息披露要求，也對銀行數(shù)據(jù)提出了前所未有的挑戰(zhàn)。如果不能對這些數(shù)據(jù)進(jìn)行有效管理，其價值就得不到很好體現(xiàn)，甚至?xí)o運營管理帶來負(fù)面作用，具體表現(xiàn)為：

一是缺乏統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，難以建立全面、準(zhǔn)確、完整地反映企業(yè)運營狀況的單一數(shù)據(jù)視圖，難以做到數(shù)據(jù)的邏輯整合而不僅僅是物理集中；
二是缺乏規(guī)范的數(shù)據(jù)質(zhì)量治理流程和考核機制，不能及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，或缺乏有效解決途徑；
三是對數(shù)據(jù)采集、分布、流轉(zhuǎn)及應(yīng)用的規(guī)劃存在不合理現(xiàn)象，數(shù)據(jù)需求、數(shù)據(jù)質(zhì)量、數(shù)據(jù)應(yīng)用等問題的管理和解決分散在不同業(yè)務(wù)和技術(shù)部門，沒有一個清晰的協(xié)調(diào)機制和統(tǒng)一的報告渠道，業(yè)務(wù)不能及時、按需獲得數(shù)據(jù)支持；
四是缺乏有效的數(shù)據(jù)安全管理機制，對敏感信息的訪問缺乏有效控制，對銀行形成潛在的聲譽和法律風(fēng)險等。為使這些數(shù)據(jù)“包袱”變成“金礦”，數(shù)據(jù)治理體系的構(gòu)建就變得尤為重要和迫切。

01 數(shù)據(jù)治理體系簡介

數(shù)據(jù)治理是為滿足企業(yè)內(nèi)部信息需求，提升企業(yè)信息服務(wù)水準(zhǔn)而制定的相關(guān)流程、政策、標(biāo)準(zhǔn)以及相關(guān)技術(shù)手段，用于保證信息的可用性、可獲取性、高質(zhì)量、一致性以及安全性。數(shù)據(jù)治理體系建設(shè)的目的，是建立數(shù)據(jù)擁有者、使用者、數(shù)據(jù)以及支撐系統(tǒng)之間的和諧互補關(guān)系，從全企業(yè)視角協(xié)調(diào)、統(tǒng)領(lǐng)各個層面的數(shù)據(jù)管理工作，確保內(nèi)部各類人員能夠得到及時、準(zhǔn)確的數(shù)據(jù)支持和服務(wù)。通常認(rèn)為，數(shù)據(jù)治理至少應(yīng)當(dāng)涵蓋如下功能域：數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)安全管理和主數(shù)據(jù)管理，現(xiàn)對上述功能域說明如下：

1.數(shù)據(jù)質(zhì)量管理

對支持業(yè)務(wù)需求的數(shù)據(jù)進(jìn)行全面質(zhì)量管理，通過數(shù)據(jù)質(zhì)量相關(guān)管理辦法、組織、流程、評價考核規(guī)則的制定，及時發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問題，提升數(shù)據(jù)的完整性、及時性、準(zhǔn)確性及一致性，提升業(yè)務(wù)價值。

2.元數(shù)據(jù)管理

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，即對數(shù)據(jù)的描述信息。根據(jù)其屬性的不同，元數(shù)據(jù)可分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。元數(shù)據(jù)管理是元數(shù)據(jù)的定義、收集、管理和發(fā)布的方法、工具及流程的集合，通過完成對相關(guān)業(yè)務(wù)元數(shù)據(jù)及技術(shù)元數(shù)據(jù)的集成及應(yīng)用，提供數(shù)據(jù)路徑、數(shù)據(jù)歸屬信息，并對業(yè)務(wù)術(shù)語、文檔進(jìn)行集中管理，借助變更報告、影響分析以及業(yè)務(wù)術(shù)語管理等應(yīng)用， 以此保證數(shù)據(jù)的完整性、控制數(shù)據(jù)質(zhì)量、減少業(yè)務(wù)術(shù)語歧義和建立業(yè)務(wù)人員之間、技術(shù)人員之間，以及雙方的溝通平臺。

3.數(shù)據(jù)標(biāo)準(zhǔn)管理

通過建立一整套數(shù)據(jù)規(guī)范、管控流程和技術(shù)工具來確保銀行各種重要信息，包括產(chǎn)品、客戶、機構(gòu)、賬戶等信息在全行內(nèi)外使用和交換的一致和準(zhǔn)確。數(shù)據(jù)標(biāo)準(zhǔn)可分為技術(shù)標(biāo)準(zhǔn)和業(yè)務(wù)標(biāo)準(zhǔn)。

4.數(shù)據(jù)安全管理

通過建立對數(shù)據(jù)及相關(guān)信息系統(tǒng)進(jìn)行保護(hù)的一系列措施， 確保數(shù)據(jù)免遭未經(jīng)授權(quán)的訪問、使用、修改或刪除，保證數(shù)據(jù)完整性、保密性和可用性，具體可分為管理和技術(shù)兩大類措施。

5.主數(shù)據(jù)管理

主數(shù)據(jù)指描述核心業(yè)務(wù)實體的數(shù)據(jù)，如客戶、機構(gòu)、員工、產(chǎn)品等。這些數(shù)據(jù)變化相對緩慢并通常在企業(yè)內(nèi)跨業(yè)務(wù)重復(fù)使用。主數(shù)據(jù)管理適用于管理、協(xié)調(diào)、監(jiān)控與企業(yè)主要業(yè)務(wù)實體相關(guān)聯(lián)的主數(shù)據(jù)的一系列規(guī)則、技術(shù)、應(yīng)用、策略和程序。

02 數(shù)據(jù)質(zhì)量管理簡介

業(yè)界普遍認(rèn)可的數(shù)據(jù)質(zhì)量定義為數(shù)據(jù)對其期望目的的適合度，即數(shù)據(jù)質(zhì)量管理生命周期及其相關(guān)的數(shù)據(jù)質(zhì)量管理流程，都要為確保數(shù)據(jù)滿足其自身預(yù)期目標(biāo)提供相應(yīng)的方法和手段。

數(shù)據(jù)質(zhì)量管理基礎(chǔ)和問題分類
下列要素是進(jìn)行數(shù)據(jù)質(zhì)量管理的基礎(chǔ)：             

1.數(shù)據(jù)質(zhì)量的好壞是由用戶以及數(shù)據(jù)使用價值所決定的。
2.數(shù)據(jù)質(zhì)量的好壞代表著數(shù)據(jù)在數(shù)據(jù)知識應(yīng)用中、數(shù)據(jù)所存在的系統(tǒng)中以及數(shù)據(jù)使用過程中被應(yīng)用或者有價值的程度。
3.只有當(dāng)數(shù)據(jù)被下游過程（系統(tǒng)或用戶）所接收并使用時，數(shù)據(jù)質(zhì)量問題的研討才有意義。
4.數(shù)據(jù)是持續(xù)變更的，數(shù)據(jù)質(zhì)量管理是一個持續(xù)過程而不是一次性活動。

銀行關(guān)注的常見數(shù)據(jù)質(zhì)量問題可以歸成如下7類：

1.定義缺失，指缺少關(guān)鍵業(yè)務(wù)元素定義，導(dǎo)致對同一字段的理解偏差。例如，

什么是“一個客戶”，不同業(yè)務(wù)有不同理解，通常風(fēng)險應(yīng)用將組織機構(gòu)號作為對公客戶的“身份證”，一個組織機構(gòu)號代表一個客戶；而核心系統(tǒng)對客戶號的分配較為隨意，允許一個組織機構(gòu)號下存在多個客戶號。

2.數(shù)據(jù)異常，指系統(tǒng)的個別字段出現(xiàn)了異常信息，包括取值錯誤，格式錯誤、多余字符、亂碼等。
3.信息缺失或不準(zhǔn)確，指在系統(tǒng)表中已經(jīng)設(shè)計了某些字段，但在使用過程中， 很多記錄卻沒有收集這些字段的信息，或存在信息收集不準(zhǔn)確、信息重復(fù)登記等情況。信息缺失或不準(zhǔn)確通常在客戶信息方面最為嚴(yán)重。

4.系統(tǒng)之間數(shù)據(jù)不一致，主要體現(xiàn)在兩個方面：
(1)系統(tǒng)間數(shù)據(jù)維護(hù)不一致。為了滿足各個系統(tǒng)內(nèi)部邏輯、提高訪問效率和減少數(shù)據(jù)傳輸，相同信息可能在不同系統(tǒng)進(jìn)行冗余存放。但冗余存放的數(shù)據(jù)如果不進(jìn)行同步或及時的數(shù)據(jù)維護(hù)，則必會導(dǎo)致這些數(shù)據(jù)的不一致。例如，銀行通常存在核心系統(tǒng)與信貸系統(tǒng)數(shù)據(jù)不一致的問題。

(2)系統(tǒng)之間數(shù)據(jù)同步時效性造成的不一致。典型案例如下：由于某些銀行的貸記卡系統(tǒng)是外包系統(tǒng)，因此總賬系統(tǒng)在 T+1 日才能取到貸記卡 T 日的數(shù)據(jù)，但是其他系統(tǒng)的科目余額缺失 T+1 日的數(shù)據(jù)，于是此種同步時效性的差異就導(dǎo)致了系統(tǒng)之間數(shù)據(jù)不一致。

5.數(shù)據(jù)完整性問題。數(shù)據(jù)完整性問題主要體現(xiàn)在兩個方面：(1)參照完整性，是指一個表 A的外鍵不包含無效的鍵值，例如，借據(jù)表中記錄了合同號，但是在合同表中無法找到相關(guān)記錄；(2)數(shù)據(jù)含義沖突，如某些賬戶，從賬戶屬性、存期等字段看，應(yīng)是通知存款產(chǎn)品，但從科目看，又是普通定期產(chǎn)品。

6.數(shù)據(jù)生命周期問題。銀行中的關(guān)鍵數(shù)據(jù)，例如，賬戶、客戶、產(chǎn)品信息等， 都有若干日期字段記錄其生命周期，這些日期字段包括創(chuàng)建/開戶日期、關(guān)閉/

銷戶日期、最后交易日期和最后修改日期等，但是在業(yè)務(wù)系統(tǒng)中往往存在修改了記錄狀態(tài)卻并未同步更新相關(guān)日期字段的情況。此外，還有一個違反合理數(shù)據(jù)生命周期的常見做法，就是直接在物理上刪除記錄。

7.代碼問題。包括三個與代碼相關(guān)的問題：

(1)代碼不統(tǒng)一問題，即不同應(yīng)用之間相同用途代碼的編碼不一致；
(2)未代碼化問題，即常見情況使用文字存儲，而非將信息代碼化，很多時候會發(fā)現(xiàn)信息存儲的不少，但卻不便于分析使用。
(3)意外代碼，即實際數(shù)據(jù)中出現(xiàn)了未定義的代碼值。

03 數(shù)據(jù)質(zhì)量管理方法論

圖 1 描述了權(quán)威人士普遍認(rèn)可的數(shù)據(jù)質(zhì)量管理方法論，共分六步。



圖1  數(shù)據(jù)質(zhì)量提升步驟圖

第一步：定義及驗證

首先，從技術(shù)和業(yè)務(wù)兩個層面對數(shù)據(jù)應(yīng)當(dāng)滿足的質(zhì)量目標(biāo)進(jìn)行定義。表1列出了一系列數(shù)據(jù)質(zhì)量度量標(biāo)準(zhǔn)，但最終的定義應(yīng)當(dāng)以更規(guī)范的形式進(jìn)行描述。例如，屬性 X的缺失率不超過2%。其次，對于派生數(shù)據(jù)，其源數(shù)據(jù)和轉(zhuǎn)換的規(guī)則必須詳細(xì)說明。最后，上面描述的定義和規(guī)則將作為數(shù)據(jù)質(zhì)量評估計劃的輸入源。數(shù)據(jù)質(zhì)量評估計劃主要用來驗證定義和規(guī)則的正確性，并且這個計劃將詳細(xì)描述數(shù)據(jù)必須滿足的、適合它預(yù)期用途的屬性，即它定義了數(shù)據(jù)質(zhì)量。這個計劃還將指導(dǎo)初始的數(shù)據(jù)度量，通常也成為數(shù)據(jù)剖析。

表1 數(shù)據(jù)質(zhì)量度量標(biāo)準(zhǔn)

Accuracy 正確性

Completeness 完整性

Consistency  一致性

Continuity 連續(xù)性

Precedence 先后順序

Precision 精確度

Granularity 數(shù)據(jù)粒度

Currency 當(dāng)前性

Duration  數(shù)據(jù)時間跨度

Retention 數(shù)據(jù)保存周期

Identity 唯一性

Reference 參照完整性

Cardinality 數(shù)據(jù)對應(yīng)關(guān)系

Inheritance 繼承關(guān)系

Value  Set 數(shù)值集合

Relationship 依賴關(guān)系

第二步：影響分析與共性分析

完成數(shù)據(jù)質(zhì)量目標(biāo)定義后，需要評估一個特定的數(shù)據(jù)質(zhì)量問題在預(yù)期的數(shù)據(jù)使用適合性方面帶來的影響，并根據(jù)影響分析結(jié)果可以確定數(shù)據(jù)質(zhì)量問題的重要性與優(yōu)先級別。

所謂共性分析就是分析錯誤具有的共性，我們期望一次可以將許多錯誤歸結(jié)到某類共同原因。這個分析將為下一步追蹤根本原因做好準(zhǔn)備。

第三步：追蹤根本原因

圖 2 所示魚骨圖是一個眾所周知的用于鑒別數(shù)據(jù)質(zhì)量背后根本原因的工具，它反映了需要達(dá)到的和實際的數(shù)據(jù)質(zhì)量之間的差距原因，通常是信息、流程、技術(shù)、人員等因素所導(dǎo)致。

第四步：預(yù)防/修復(fù)數(shù)據(jù)質(zhì)量問題

圖 3 描述了在追蹤數(shù)據(jù)質(zhì)量問題的根本原因時可用到的選擇。每一個選擇都有相關(guān)的優(yōu)點和弱點。
1.導(dǎo)致數(shù)據(jù)質(zhì)量問題的根本原因，最常見的有人員、流程、業(yè)務(wù)系統(tǒng)前端、業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)抽取和加載過程等方面處理不當(dāng)，這些因素都有可能產(chǎn)生數(shù)據(jù)質(zhì)量問題。對于圖3前三項(人員、流程、業(yè)務(wù)系統(tǒng)前端)，重點在于預(yù)防，對于后三項(業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫，抽取、加載)，則通常通過修復(fù)的手段來解決。
2.每類數(shù)據(jù)質(zhì)量問題的預(yù)防/修復(fù)都有有利和不利的一面，比如，由于人員產(chǎn)生的質(zhì)量問題，有利方面是可以再源頭預(yù)防，不利方面在于人員往往會疏于管理、容易遺忘以及不同人員的差異性、專注點不同，這些都會不可避免地產(chǎn)生一定的數(shù)據(jù)質(zhì)量問題。



圖2 數(shù)據(jù)質(zhì)量根本原因圖






3.涉及的數(shù)據(jù)量。通常數(shù)據(jù)質(zhì)量問題需要修復(fù)的數(shù)據(jù)量有大致規(guī)律，如人員、流程、前端應(yīng)用產(chǎn)生的質(zhì)量問題需要修復(fù)的數(shù)據(jù)量往往不大，而數(shù)據(jù)庫處理、數(shù)據(jù)抽取和加載等后臺環(huán)節(jié)導(dǎo)致的數(shù)據(jù)質(zhì)量問題通常設(shè)計的數(shù)據(jù)量較大。對于已經(jīng)發(fā)生的數(shù)據(jù)質(zhì)量問題，只能通過修復(fù)措施解決，但是從長遠(yuǎn)來看，重視預(yù)防措施， 在源頭控制錯誤的產(chǎn)生更為重要。



圖 3 預(yù)防/修復(fù)數(shù)據(jù)質(zhì)量問題圖

第五步：趨勢監(jiān)控

一個已知的數(shù)據(jù)質(zhì)量問題被修復(fù)后并不意味著這個特定問題就被永遠(yuǎn)解決了。如果沒有有效地預(yù)防措施，錯誤仍有可能再現(xiàn)。因此，對重要數(shù)據(jù)質(zhì)量問題應(yīng)當(dāng)持續(xù)監(jiān)控。圖 4 所示控制圖經(jīng)常被用來做質(zhì)量問題監(jiān)控，當(dāng)錯誤的個數(shù)在一定范圍之內(nèi)浮動時，質(zhì)量問題被認(rèn)為處于可控狀態(tài)。











圖 4 數(shù)據(jù)質(zhì)量趨勢監(jiān)控圖

第六步：識別和研究偏差

監(jiān)控流程來識別問題。例如，當(dāng)一個已知數(shù)據(jù)的質(zhì)量超過了允許的控制范圍， 流程將需要從該分支返回到第三步再一次識別根本原因。












圖 5 識別和研究偏差圖

04 數(shù)據(jù)質(zhì)量問題特征分析

根據(jù)數(shù)據(jù)質(zhì)量定義，數(shù)據(jù)的不同使用目的會導(dǎo)致不同的數(shù)據(jù)質(zhì)量要求，例如， 業(yè)務(wù)系統(tǒng)對數(shù)據(jù)的使用目的主要是為了保證業(yè)務(wù)流程的正常運轉(zhuǎn)和滿足一些簡單的統(tǒng)計功能，因此只要業(yè)務(wù)流程和統(tǒng)計正常，就可以認(rèn)為數(shù)據(jù)質(zhì)量滿足要求；而分析型系統(tǒng)對數(shù)據(jù)的使用目的則多種多樣，而且涵蓋企業(yè)運營的方方面面，那么滿足業(yè)務(wù)流程正常運轉(zhuǎn)的需要并不一定就能保證滿足分析的需求，因此分析型應(yīng)用的需求是決定數(shù)據(jù)質(zhì)量管理目標(biāo)的主要因素。
在這一前提下，對企業(yè)內(nèi)部數(shù)據(jù)流轉(zhuǎn)過程各環(huán)節(jié)中呈現(xiàn)出來的數(shù)據(jù)質(zhì)量問題特性作如下分析，如圖6所示，數(shù)據(jù)流轉(zhuǎn)過程被分成三個階段（環(huán)節(jié)）：
1.數(shù)據(jù)生產(chǎn)環(huán)節(jié)：企業(yè)內(nèi)部的原始數(shù)據(jù)，絕大部分都產(chǎn)生自業(yè)務(wù)源系統(tǒng)，很少量的增值數(shù)據(jù)(Value-addedata)產(chǎn)生于分析型系統(tǒng)。

2.數(shù)據(jù)集成環(huán)節(jié)：在基礎(chǔ)數(shù)據(jù)平臺類系統(tǒng)(ODS/數(shù)據(jù)倉庫和數(shù)據(jù)集市)中，集成來自不同源系統(tǒng)的數(shù)據(jù)，并按照數(shù)據(jù)模型整合。

3.數(shù)據(jù)使用環(huán)節(jié)：由各類分析型應(yīng)用組成，也包括隨機業(yè)務(wù)查詢、數(shù)據(jù)分析、數(shù)據(jù)挖掘等信息訪問手段。

從圖6中可以看到，數(shù)據(jù)質(zhì)量問題的產(chǎn)生主要在于數(shù)據(jù)產(chǎn)生環(huán)節(jié)，其次在于數(shù)據(jù)集成環(huán)節(jié)的數(shù)據(jù)加工過程，而在數(shù)據(jù)使用環(huán)節(jié)，由于原則上不再對數(shù)據(jù)作修改，因此基本上不產(chǎn)生數(shù)據(jù)質(zhì)量問題。



圖 6 數(shù)據(jù)質(zhì)量問題分析圖

數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)則不同，基本呈現(xiàn)出相反特征：一是業(yè)務(wù)源系統(tǒng)雖然是數(shù)據(jù)的主要產(chǎn)生環(huán)節(jié)，但是通常只能發(fā)現(xiàn)業(yè)務(wù)流程相關(guān)的數(shù)據(jù)質(zhì)量問題，而且僅限于本系統(tǒng)內(nèi)部；二是數(shù)據(jù)集成環(huán)節(jié)由于是企業(yè)內(nèi)部數(shù)據(jù)的一個最主要會聚點，因此通常也是數(shù)據(jù)質(zhì)量問題暴露最多的環(huán)節(jié)；三是數(shù)據(jù)使用環(huán)節(jié)是數(shù)據(jù)質(zhì)量問題頻繁暴露的另一個環(huán)節(jié)，主要是因為對數(shù)據(jù)的使用決定了數(shù)據(jù)質(zhì)量問題的定義，所以很多質(zhì)量問題都是在使用時被首次發(fā)現(xiàn)。

 05 在不同流轉(zhuǎn)環(huán)節(jié)關(guān)注的數(shù)據(jù)質(zhì)量

基于數(shù)據(jù)質(zhì)量管理的關(guān)鍵環(huán)節(jié)和質(zhì)量問題特性，再結(jié)合業(yè)界事實數(shù)據(jù)質(zhì)量管理的最佳實踐，建議在不同流轉(zhuǎn)環(huán)節(jié)側(cè)重完成的功能點實現(xiàn)應(yīng)如下：

1.數(shù)據(jù)產(chǎn)生環(huán)節(jié)。

修正——數(shù)據(jù)質(zhì)量問題必須在源頭得到修正，這是數(shù)據(jù)質(zhì)量管理的一項基本原則。
預(yù)防——相對于修正，預(yù)防的意義更大，主要原因在于可以防止產(chǎn)生新的數(shù)據(jù)質(zhì)量問題。
定義——由于數(shù)據(jù)質(zhì)量問題的定義主要取決于使用目的原則，因此數(shù)據(jù)質(zhì)量問題的定義主要應(yīng)當(dāng)結(jié)合數(shù)據(jù)使用環(huán)節(jié)來發(fā)起，但事實上常常都是基于源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)來進(jìn)行定義。

2.數(shù)據(jù)集成環(huán)節(jié)。

檢查——技術(shù)數(shù)據(jù)平臺類系統(tǒng)作為銀行數(shù)據(jù)的主要會聚點，在此環(huán)節(jié)進(jìn)行數(shù)據(jù)質(zhì)量問題檢查的效用最高。
報告——對于數(shù)據(jù)質(zhì)量檢查結(jié)果，應(yīng)當(dāng)以報告形式展開，并通過一定的機制(自動工作流程或人工流程)通知相關(guān)的數(shù)據(jù)質(zhì)量問題責(zé)任人，如業(yè)務(wù)源系統(tǒng)項目組、業(yè)務(wù)部門、數(shù)據(jù)倉庫或應(yīng)用項目組等。
跟蹤——由于來自業(yè)務(wù)源系統(tǒng)的數(shù)據(jù)每天都會加載到基礎(chǔ)數(shù)據(jù)平臺類系統(tǒng)中，因此，基礎(chǔ)數(shù)據(jù)平臺類系統(tǒng)應(yīng)當(dāng)被利用來對數(shù)據(jù)質(zhì)量問題的解決進(jìn)行跟蹤，并將跟蹤結(jié)果作為提升數(shù)據(jù)質(zhì)量問題治理成效的一個依據(jù)。

3.數(shù)據(jù)使用環(huán)節(jié)。

定義——如前所述，在數(shù)據(jù)使用環(huán)節(jié)就根據(jù)數(shù)據(jù)的使用目標(biāo)來定義數(shù)據(jù)應(yīng)當(dāng)滿足的質(zhì)量標(biāo)準(zhǔn)，并作為日后上下游系統(tǒng)之間服務(wù)水平協(xié)議(Service LevelAgreement,SLA)的輸入接口。
評估——作為數(shù)據(jù)的最終使用者，在使用環(huán)節(jié)應(yīng)當(dāng)對數(shù)據(jù)質(zhì)量治理的成效進(jìn)行評估，并作為下一階段設(shè)定數(shù)據(jù)質(zhì)量管理目標(biāo)的依據(jù)之一。

06 數(shù)據(jù)質(zhì)量管理流程的關(guān)鍵點

數(shù)據(jù)質(zhì)量管理流程應(yīng)當(dāng)涵蓋從“數(shù)據(jù)產(chǎn)生”到“數(shù)據(jù)集成”再到“數(shù)據(jù)使用”在內(nèi)的全過程。為了在銀行全行范圍內(nèi)進(jìn)行有效的數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)質(zhì)量管理的不同功能點應(yīng)恰當(dāng)分布在個流程的相應(yīng)環(huán)節(jié)，在基礎(chǔ)數(shù)據(jù)平臺類系統(tǒng)上構(gòu)建數(shù)據(jù)質(zhì)量管理系統(tǒng)，并將源系統(tǒng)、相關(guān)應(yīng)用以及相關(guān)科技和業(yè)務(wù)用戶都納入數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)——修正——跟蹤——評估的閉環(huán)流程當(dāng)中，如此才是實施數(shù)據(jù)質(zhì)量管理的最佳選擇。

此外，數(shù)據(jù)質(zhì)量管理成敗的關(guān)鍵在于合理有效的組織架構(gòu)和流程，而不是管理系統(tǒng)自身，因此應(yīng)當(dāng)更為重視數(shù)據(jù)質(zhì)量管理配套的組織架構(gòu)和管理流程建設(shè)。

在構(gòu)建數(shù)據(jù)質(zhì)量管理體系時，以下關(guān)鍵因素應(yīng)當(dāng)考慮：跨部門以上主管領(lǐng)導(dǎo)的重視和牽頭；負(fù)責(zé)解決數(shù)據(jù)質(zhì)量問題的專門和專業(yè)組織；負(fù)責(zé)解決數(shù)據(jù)質(zhì)量問題的統(tǒng)一和專業(yè)流程；負(fù)責(zé)解決數(shù)據(jù)質(zhì)量問題的統(tǒng)一平臺；負(fù)責(zé)偵測數(shù)據(jù)質(zhì)量問題的專業(yè)工具。

 07 數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)治理體系的有機結(jié)合

數(shù)據(jù)質(zhì)量管理應(yīng)當(dāng)與整個企業(yè)級的數(shù)據(jù)治理體系有機結(jié)合，圖7 簡要說明了這些治理體系各主要組件之間的關(guān)系。

圖 7 反映的數(shù)據(jù)質(zhì)量管理相關(guān)治理組件的關(guān)系如下：



圖 7 數(shù)據(jù)治理主要組件之間的關(guān)系圖

1.數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)質(zhì)量管理進(jìn)行質(zhì)量檢查的規(guī)則，因此數(shù)據(jù)與標(biāo)準(zhǔn)不相符，就是一個典型的數(shù)據(jù)質(zhì)量問題，通過部署數(shù)據(jù)質(zhì)量管理系統(tǒng)，可以對數(shù)據(jù)標(biāo)準(zhǔn)的落地實施提供有效的監(jiān)控、檢驗和督促手段。

2.元數(shù)據(jù)管理系統(tǒng)可以作為數(shù)據(jù)質(zhì)量管理的一個輸入端，輔助數(shù)據(jù)質(zhì)量檢查 腳本的自動生成，而數(shù)據(jù)質(zhì)量管理系統(tǒng)中存儲的檢查規(guī)則等信息又是一項元數(shù)據(jù)， 應(yīng)當(dāng)被元數(shù)據(jù)管理系統(tǒng)所采集。

3.數(shù)據(jù)安全管理中定義的數(shù)據(jù)所有者，是構(gòu)建數(shù)據(jù)質(zhì)量治理閉環(huán)流程和確定數(shù)據(jù)整改權(quán)責(zé)的重要依據(jù)。

作者：孫中東


歡迎關(guān)注微信公眾號 ：大數(shù)據(jù)階梯之路