數(shù)據(jù)治理的成功要素2:數(shù)據(jù)架構(gòu)設(shè)計
導(dǎo)讀:不同行業(yè)、不同企業(yè)的行業(yè)特點不同、企業(yè)性質(zhì)不同、信息化發(fā)展程度不同、業(yè)務(wù)和管理需求不同,其數(shù)據(jù)治理的側(cè)重點也是不一樣的。企業(yè)在設(shè)計數(shù)據(jù)治理平臺框架時,應(yīng)從企業(yè)的實際需求和發(fā)展需要出發(fā),設(shè)計適合企業(yè)的數(shù)據(jù)治理架構(gòu)、解決企業(yè)痛點,這個過程業(yè)界最佳實踐只能參照,不能照搬,最忌諱的是貪大求全。
本文為企業(yè)數(shù)據(jù)治理的成功要素第二篇:數(shù)據(jù)治理架構(gòu)設(shè)計。本文對從數(shù)據(jù)架構(gòu)概述、數(shù)據(jù)架構(gòu)的設(shè)計進行簡要說明,并對業(yè)界數(shù)據(jù)治理主要的數(shù)據(jù)架構(gòu)模型進行了盤點,描述了每個架構(gòu)的主要功能和適用場景。企業(yè)數(shù)據(jù)治理成功要素篇不斷更新中……,敬請關(guān)注。
關(guān)于數(shù)據(jù)架構(gòu)其實還沒有一個官方的、權(quán)威的定義,對于數(shù)據(jù)架構(gòu)的理解和認知大多是源自于企業(yè)架構(gòu)(EA),在EA架構(gòu)中,數(shù)據(jù)架構(gòu)是其一個重要的組成部分。企業(yè)架構(gòu)一般包含:業(yè)務(wù)架構(gòu)、數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)和技術(shù)架構(gòu)。數(shù)據(jù)架構(gòu)將企業(yè)業(yè)務(wù)實體抽象為信息對象,將企業(yè)的業(yè)務(wù)運作模式抽象為信息對象的屬性和方法,建立面向?qū)ο蟮臄?shù)據(jù)模型,數(shù)據(jù)架構(gòu)實現(xiàn)從業(yè)務(wù)模式向數(shù)據(jù)模型的轉(zhuǎn)變,業(yè)務(wù)需求向信息功能的映射,企業(yè)基礎(chǔ)數(shù)據(jù)向企業(yè)信息的抽象。簡單點說:數(shù)據(jù)架構(gòu)是對業(yè)務(wù)架構(gòu)中的各項業(yè)務(wù)的關(guān)聯(lián)關(guān)系的邏輯描述,并通過數(shù)據(jù)架構(gòu)描述各個應(yīng)用模塊的數(shù)據(jù)構(gòu)成、相互關(guān)系和存儲方式,位于業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)之間,起到承上啟下的作用。而我們所說的數(shù)據(jù)治理涉及的數(shù)據(jù)架構(gòu),從功能上講,包括:信息資源目錄管理、主數(shù)據(jù)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標準管理、數(shù)據(jù)安全管理以及數(shù)據(jù)的全生命周期管理。二、數(shù)據(jù)架構(gòu)的設(shè)計方法數(shù)據(jù)架構(gòu)的設(shè)計是企業(yè)架構(gòu)的一部分內(nèi)容,對于企業(yè)架構(gòu)的設(shè)計業(yè)界有很多成熟的模型和框架,例如:TOGAF、Zachman、FEA、DoDAF,在國內(nèi)用的最廣泛的是TOGAF框架。在TOGAF企業(yè)架構(gòu)框架中,數(shù)據(jù)架構(gòu)也是整個企業(yè)架構(gòu)框架中的四個重要組成部分之一。TOGAF框架將企業(yè)架構(gòu)的規(guī)劃設(shè)計分為了一個預(yù)備階段和八個設(shè)計階段,如下圖所示。本次我們不對TOGAF框架如何使用做過多的探討,事實上,沒有那兩家企業(yè)的業(yè)務(wù)、數(shù)據(jù)、應(yīng)用系統(tǒng),以及企業(yè)性質(zhì)、管控模式、企業(yè)文化是完全相同的,所以我們在做數(shù)據(jù)治理架構(gòu)設(shè)計的時候,任何先進的體系框架、最佳實踐,都是只能作為參考,而不能照搬。最核心的,還是要結(jié)合企業(yè)的特點以及需求設(shè)計符合企業(yè)要求的數(shù)據(jù)架構(gòu)。在這一點上,我非常喜歡TOGAF框架,它的每個階段、每個步驟都是要我們圍繞企業(yè)的需求進行規(guī)劃和設(shè)計。結(jié)合TOGAF框架,筆者認為數(shù)據(jù)治理項目中的數(shù)據(jù)架構(gòu)設(shè)計,應(yīng)有以下幾個步驟:1、戰(zhàn)略理解。充分理解企業(yè)愿景和發(fā)展戰(zhàn)略,對于企業(yè)戰(zhàn)略的理解不光局限于愿景和使命等業(yè)務(wù)戰(zhàn)略,還要企業(yè)的IT戰(zhàn)略,同時需要考量企業(yè)對數(shù)據(jù)的定位、組織架構(gòu)、人才戰(zhàn)略等因素。2、業(yè)務(wù)分析。理清企業(yè)業(yè)務(wù)主價值鏈,以主價值鏈為核心,充分了解各業(yè)務(wù)環(huán)節(jié)的協(xié)同關(guān)系和存在問題,找出企業(yè)業(yè)務(wù)需求的三點,即:痛點、癢點和興奮點。這三點多用在營銷領(lǐng)域,但多年經(jīng)驗告訴我,找到這三點并進行合理的設(shè)計,也是項目成功的重要保證。3、架構(gòu)設(shè)計。數(shù)據(jù)架構(gòu)以解決業(yè)務(wù)問題和需求為目標,以應(yīng)用功能為抓手,向上承接業(yè)務(wù)架構(gòu),向下對接應(yīng)用架構(gòu)。數(shù)據(jù)架構(gòu)不僅需要包含相對靜態(tài)的數(shù)據(jù),例如:元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)模型,還應(yīng)包含相對動態(tài)的數(shù)據(jù),例如:各類交易數(shù)據(jù)、ETL、應(yīng)用訪問數(shù)據(jù)、整合數(shù)據(jù)、移動數(shù)據(jù)等,同時還需要有數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全以及數(shù)據(jù)的全生命周期管理的考量。4、模型設(shè)計。基于對企業(yè)戰(zhàn)略理解和業(yè)務(wù)的分析,設(shè)計數(shù)據(jù)模型。數(shù)據(jù)模型是現(xiàn)實世界的抽象,數(shù)據(jù)模型從抽象層次上描述了系統(tǒng)的靜態(tài)特征、動態(tài)行為和約束條件。數(shù)據(jù)模型按分層設(shè)計的原理可分為概念模型,邏輯模型和物理模型。概念模型,面向用戶和客觀世界,用來描述現(xiàn)實世界的概念化結(jié)構(gòu)。邏輯模型,面向數(shù)據(jù)庫系統(tǒng),描述了數(shù)據(jù)對象的結(jié)構(gòu)和關(guān)系。物理模型,面向物理存儲介質(zhì),描述了數(shù)據(jù)在儲存介質(zhì)上的結(jié)構(gòu)。
5、數(shù)據(jù)標準。結(jié)合數(shù)據(jù)模型定義每個數(shù)據(jù)的業(yè)務(wù)含義、業(yè)務(wù)規(guī)則、數(shù)據(jù)結(jié)構(gòu)、質(zhì)量規(guī)則、管理部門、管理人員。值得注意的是,模型設(shè)計一般來說應(yīng)包含數(shù)據(jù)標準的內(nèi)容,數(shù)據(jù)標準出了數(shù)據(jù)模型描述的內(nèi)容外,還包括數(shù)據(jù)分類標準、數(shù)據(jù)編碼標準、數(shù)據(jù)質(zhì)量標準和數(shù)據(jù)安全標準。三、盤點當(dāng)前流行的數(shù)據(jù)治理架構(gòu)以下結(jié)合筆者接觸過的和了解的一些行業(yè)和企業(yè)談一談這些行業(yè)或企業(yè)的數(shù)據(jù)治理架構(gòu)的特點。1、元數(shù)據(jù)驅(qū)動的數(shù)據(jù)治理架構(gòu)新技術(shù)的發(fā)展給傳統(tǒng)行業(yè)帶來了挑戰(zhàn),就連我們一直艷羨的銀行業(yè)也難以幸免。傳統(tǒng)銀行企業(yè)的信息化模式,也是先建設(shè)后治理,大量的煙囪式架構(gòu)系統(tǒng)產(chǎn)生了大量的數(shù)據(jù)孤島,業(yè)務(wù)的交叉、功能的重復(fù)、數(shù)據(jù)的冗余,數(shù)據(jù)質(zhì)量不高、標準不統(tǒng)一、歸集處理手段單一、存儲分散,數(shù)據(jù)挖掘能力不足,數(shù)據(jù)割裂、共享不充分等問題在大多數(shù)銀行企業(yè)還較為普遍。再加上互聯(lián)網(wǎng)金融的沖擊使得銀行業(yè)面臨了一個困難時期。數(shù)據(jù)是企業(yè)的資產(chǎn),對于銀行業(yè)來說更是。特別是大數(shù)據(jù)在營銷、風(fēng)控和普惠金融等領(lǐng)域的廣泛運用,數(shù)據(jù)已經(jīng)從提高運營效率和監(jiān)管效能的工具進化成為銀行業(yè)最核心的資產(chǎn)和實現(xiàn)監(jiān)管意圖的重要依托。以元數(shù)據(jù)為驅(qū)動,理清企業(yè)數(shù)據(jù)資產(chǎn),建立數(shù)據(jù)標準體系、數(shù)據(jù)質(zhì)量管理體系,對企業(yè)實施數(shù)據(jù)治理,是銀行業(yè)目前典型的數(shù)據(jù)治理架構(gòu)。通過元數(shù)據(jù)管理平臺, 實現(xiàn)元數(shù)據(jù)的采集、變更、刪除及檢索, 并在元數(shù)據(jù)的驅(qū)動下實現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換、加載, 建立數(shù)據(jù)資源目錄,盤點企業(yè)數(shù)據(jù)資產(chǎn),結(jié)合數(shù)據(jù)標準管理、360°客戶主數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理,實現(xiàn)統(tǒng)一、標準的對外數(shù)據(jù)服務(wù),為企業(yè)的產(chǎn)品創(chuàng)新和服務(wù)創(chuàng)新提供支撐。通過數(shù)據(jù)治理,對優(yōu)化銀行業(yè)務(wù),建立和保持與客戶的良好關(guān)系,增加銷售機會都起到了很大的支撐作用。2、主數(shù)據(jù)驅(qū)動的數(shù)據(jù)治理架構(gòu)對于制造型企業(yè)來說,“降本、增效、提質(zhì)”是企業(yè)永恒的追求的目標。在企業(yè)發(fā)展的進程中,業(yè)務(wù)關(guān)聯(lián)越來越緊密,而割裂的業(yè)務(wù)系統(tǒng),數(shù)據(jù)的不一致、不標準、不正確、不完整等問題對業(yè)務(wù)之間的協(xié)同、協(xié)作造成了很大的制約,進而影響了企業(yè)的“降本、增效、提質(zhì)”目標。在制造型企業(yè)里,各部門、各業(yè)務(wù)之間線上溝通時,往往因為編碼不統(tǒng)一,名稱不一致,造成業(yè)務(wù)溝通不暢,增加溝通成本,影響業(yè)務(wù)效率。通過對企業(yè)的數(shù)據(jù)資源進行統(tǒng)一的梳理和識別,建立主數(shù)據(jù)標準,包括:分類標準、編碼標準、數(shù)據(jù)模型標準、數(shù)據(jù)質(zhì)量規(guī)則標準、數(shù)據(jù)集成標準等。通過以主數(shù)據(jù)的為驅(qū)動的數(shù)據(jù)治理平臺,打通各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)通道,形成主數(shù)據(jù)的唯一數(shù)據(jù)源和統(tǒng)一數(shù)據(jù)視圖,實現(xiàn)主數(shù)據(jù)的一物一碼、統(tǒng)一管理、統(tǒng)一分發(fā)、統(tǒng)一應(yīng)用。通過主數(shù)據(jù)的解決各異構(gòu)系統(tǒng)的數(shù)據(jù)不標準、不一致問題,保障業(yè)務(wù)連貫性和數(shù)據(jù)的一致性、完整性和準確性,提升業(yè)務(wù)線條之間的協(xié)同能力,同時,高質(zhì)量的主數(shù)據(jù)也為領(lǐng)導(dǎo)的管理決策提供了支撐。3、微服務(wù)模式的數(shù)據(jù)治理架構(gòu)微服務(wù)——去中心化的信息系統(tǒng)架構(gòu),服務(wù)組件化、部署自動化、靈活敏捷的特點受到了互聯(lián)網(wǎng)企業(yè)和一些開放性行業(yè)(2C業(yè)務(wù))的推崇。隨著微服務(wù)架構(gòu)的落地,人們發(fā)現(xiàn)微服務(wù)架構(gòu)雖然改進了開發(fā)模式,但同時也引入了一些問題,在這所有的問題中,最重要的就是數(shù)據(jù)的問題。在微服務(wù)架構(gòu)中強調(diào)徹底的組件化和服務(wù)化,每個微服務(wù)都可以獨立的部署和投產(chǎn),很多的微服務(wù)有自己獨立的數(shù)據(jù)庫。這就帶來了兩個問題:1)業(yè)務(wù)系統(tǒng)對數(shù)據(jù)完整的查詢,數(shù)據(jù)被割裂后如何來整合?2)如何對數(shù)據(jù)進一步的分析挖掘?這些需求可能需要分析全量的數(shù)據(jù),并且在分析時不能影響到當(dāng)前業(yè)務(wù)。上圖是某酒店基于微服務(wù)的數(shù)據(jù)治理架構(gòu),總體設(shè)計思路是采用三層架構(gòu)模式,分為:數(shù)據(jù)層、服務(wù)層和應(yīng)用層,將2C端業(yè)務(wù)微服務(wù)化,通過建立服務(wù)層將應(yīng)用層和數(shù)據(jù)層隔離。微服務(wù)按照主數(shù)據(jù)的邏輯進行識別和劃分,將共享程度較高的應(yīng)用進行微服務(wù)化,同時將主數(shù)據(jù)應(yīng)用進行微服務(wù)化,例如:會員中心、積分中心、產(chǎn)品中心、門店中心……。對于前端的業(yè)務(wù)系統(tǒng),不能直接操作這些數(shù)據(jù),而是通過調(diào)用服務(wù)層的各個微服務(wù)實現(xiàn)后端數(shù)據(jù)的獲取。當(dāng)需要對全量數(shù)據(jù)進行統(tǒng)計分析時,是通過數(shù)據(jù)移動的技術(shù)將相應(yīng)的數(shù)據(jù),移動并匯總到數(shù)據(jù)湖中,再按照統(tǒng)計分析的需要進行處理,實現(xiàn)分析。4、基于混合云的數(shù)據(jù)治理架構(gòu)根據(jù)《中國混合云市場調(diào)查報告(2018)》混合云已經(jīng)成為企業(yè)上云的主旋律,報告指出減少基礎(chǔ)設(shè)施投資,并能夠一定程度實現(xiàn)企業(yè)業(yè)務(wù)的定制和安全性的考量是企業(yè)選擇混合云的重要原因。混合下的數(shù)據(jù)治理未來將是企業(yè)不得不考慮的問題。基于混合云的數(shù)據(jù)治理模式,將將國家標準、行業(yè)標準的數(shù)據(jù)資源,形成公共數(shù)據(jù)資源池,部署在公有云端,并通過API接口服務(wù)提供出來供企業(yè)調(diào)用。每一個API接口可以看做是一個DSaaS服務(wù),為了讓公共數(shù)據(jù)資源池應(yīng)用最大化,可以通過OpenAPI將數(shù)據(jù)開放,以供更多的應(yīng)用開發(fā)者使用。對于企業(yè)而言,其數(shù)據(jù)治理的本質(zhì)是提升數(shù)據(jù)質(zhì)量,既然公有云有了高質(zhì)量的標準數(shù)據(jù),那么這一部分數(shù)據(jù)是完全可以引用到企業(yè)內(nèi)部中使用的,使得公有云標準數(shù)據(jù)資源融合到企業(yè)的數(shù)據(jù)治理中來,一方面降低了企業(yè)數(shù)據(jù)管理維護的成本,另一方面提升了企業(yè)數(shù)據(jù)的可靠性。5、大數(shù)據(jù)架構(gòu)的數(shù)據(jù)治理體系在大數(shù)據(jù)時代,數(shù)據(jù)分散在整個企業(yè)中。它是結(jié)構(gòu)化的、非結(jié)構(gòu)化的、半結(jié)構(gòu)化的和各種其他格式。隨著可用數(shù)據(jù)的數(shù)量、種類和速度都在以驚人的速度持續(xù)增長。此外,數(shù)據(jù)源不在需要管理的團隊的控制之下。企業(yè)面臨著兩個緊迫的挑戰(zhàn):如何發(fā)現(xiàn)這些數(shù)據(jù)中的可操作的洞察力,以及如何保護它。這兩個挑戰(zhàn)直接取決于數(shù)據(jù)治理的能力。大數(shù)據(jù)環(huán)境下,如何實現(xiàn)數(shù)據(jù)的高效治理。以上是某電信公司的大數(shù)據(jù)治理架構(gòu),數(shù)據(jù)治理平臺包含了元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)管理、數(shù)據(jù)標準管理和數(shù)據(jù)安全管理。通過數(shù)據(jù)治理平臺定義大數(shù)據(jù)平臺的數(shù)據(jù)結(jié)構(gòu)、質(zhì)量規(guī)則和數(shù)據(jù)標準,實現(xiàn)大數(shù)據(jù)平臺的數(shù)據(jù)管控和治理。同時,大數(shù)據(jù)平臺的分析結(jié)果也可以反哺數(shù)據(jù)治理平臺,形成更多的可信賴數(shù)據(jù)服務(wù)。大數(shù)據(jù)平臺與數(shù)據(jù)治理平臺各模塊之間的關(guān)系如下:數(shù)據(jù)架構(gòu)設(shè)計定義是整體IT系統(tǒng)資產(chǎn)藍圖,為企業(yè)數(shù)據(jù)資產(chǎn)的管理和應(yīng)用奠定基礎(chǔ)。數(shù)據(jù)架構(gòu)支撐數(shù)據(jù)的存儲、訪問、整合和分析,數(shù)據(jù)架構(gòu)設(shè)計要不僅要考慮到相對靜態(tài)數(shù)據(jù),如:元數(shù)據(jù)、數(shù)據(jù)模型、主數(shù)據(jù)、共享數(shù)據(jù)的標準化問題,還需要考慮相對動態(tài)的數(shù)據(jù),如:交易數(shù)據(jù)、數(shù)據(jù)流轉(zhuǎn)、大數(shù)據(jù)、ETL、訪問應(yīng)用和數(shù)據(jù)全生命周期的管控和治理。對于數(shù)據(jù)治理架構(gòu)的設(shè)計,應(yīng)緊密貼合行業(yè)特點和企業(yè)需求,設(shè)計符合企業(yè)需求和發(fā)展的數(shù)據(jù)架構(gòu),強化數(shù)據(jù)治理、數(shù)據(jù)全生命周期、數(shù)據(jù)安全等方面的管理,持續(xù)提升數(shù)據(jù)質(zhì)量,保證企業(yè)的數(shù)據(jù)資產(chǎn)的可靠性,使數(shù)據(jù)成為引領(lǐng)企業(yè)戰(zhàn)略規(guī)劃和業(yè)務(wù)發(fā)展的核心競爭能力奠定堅實的基礎(chǔ)。
本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請
點擊舉報。