數(shù)據(jù)中臺(tái)功能架構(gòu)圖到底在畫什么

數(shù)據(jù)中臺(tái)功能架構(gòu)圖到底在畫什么

接口亂、口徑亂、報(bào)表亂，是很多企業(yè)在做數(shù)據(jù)平臺(tái)時(shí)最先遇到的現(xiàn)實(shí)。前端業(yè)務(wù)說(shuō)“看同一個(gè)指標(biāo)”，數(shù)據(jù)團(tuán)隊(duì)卻發(fā)現(xiàn)口徑、來(lái)源、加工鏈路都不一致。真正把這些問(wèn)題串起來(lái)的，往往不是一套更大的數(shù)據(jù)庫(kù)，而是一張能說(shuō)清楚邊界、流程和責(zé)任的數(shù)據(jù)中臺(tái)產(chǎn)品功能架構(gòu)圖。

架構(gòu)圖不只是展示

很多人一看到數(shù)據(jù)中臺(tái)產(chǎn)品功能架構(gòu)圖，就習(xí)慣把它理解成“模塊拼圖”——采集、存儲(chǔ)、治理、分析、服務(wù)，一層一層往上堆。實(shí)際上，架構(gòu)圖的核心價(jià)值不是把功能列全，而是把功能之間的關(guān)系畫清楚：哪些能力是底座，哪些能力是共享中臺(tái)，哪些能力直接面向業(yè)務(wù)輸出。

一張合格的架構(gòu)圖，首先要回答的是“數(shù)據(jù)從哪來(lái)、經(jīng)過(guò)誰(shuí)、最后給誰(shuí)用”。如果圖里只有一堆名詞，卻看不出數(shù)據(jù)流轉(zhuǎn)路徑、控制點(diǎn)和依賴關(guān)系，這樣的圖更像宣傳頁(yè)，不像架構(gòu)設(shè)計(jì)。真正有用的圖，應(yīng)該能讓產(chǎn)品、研發(fā)、數(shù)據(jù)治理和業(yè)務(wù)方都看懂自己在系統(tǒng)里的位置。

四層更好理解

多數(shù)數(shù)據(jù)中臺(tái)產(chǎn)品功能架構(gòu)圖，會(huì)按能力分層來(lái)表達(dá)，但分層不是為了好看，而是為了減少職責(zé)混亂。底層通常是接入與采集，解決多源數(shù)據(jù)匯聚問(wèn)題；中間是存儲(chǔ)計(jì)算與數(shù)據(jù)處理，負(fù)責(zé)批處理、實(shí)時(shí)處理、任務(wù)調(diào)度；再往上是數(shù)據(jù)治理、元數(shù)據(jù)、質(zhì)量、權(quán)限、血緣等通用能力；最上層才是標(biāo)簽、指標(biāo)、報(bào)表、接口、數(shù)據(jù)服務(wù)等業(yè)務(wù)化輸出。

這種分層方式的關(guān)鍵，在于每一層都要有清晰的“輸入”和“輸出”。比如采集層輸出的是原始數(shù)據(jù)，治理層輸出的是可用、可信的數(shù)據(jù)資產(chǎn)，服務(wù)層輸出的才是能被業(yè)務(wù)調(diào)用的結(jié)果。如果把治理能力直接揉進(jìn)業(yè)務(wù)應(yīng)用里，后期就會(huì)出現(xiàn)重復(fù)清洗、重復(fù)定義、重復(fù)維護(hù)的問(wèn)題，平臺(tái)越做越重，業(yè)務(wù)越用越累。

好架構(gòu)看邊界

很多項(xiàng)目做中臺(tái)失敗，不是功能不夠，而是邊界沒(méi)定好。比如指標(biāo)管理到底屬于中臺(tái)能力，還是某個(gè)業(yè)務(wù)部門的專屬配置？標(biāo)簽體系是統(tǒng)一建模，還是各業(yè)務(wù)線自建？這些問(wèn)題如果在數(shù)據(jù)中臺(tái)產(chǎn)品功能架構(gòu)圖里沒(méi)有被明確，后面就很容易出現(xiàn)“名義上統(tǒng)一、實(shí)際上各管各”的情況。

邊界清晰的架構(gòu)圖，通常會(huì)把公共能力和專屬能力分開(kāi)。公共能力強(qiáng)調(diào)標(biāo)準(zhǔn)化、復(fù)用和統(tǒng)一治理，例如數(shù)據(jù)質(zhì)量校驗(yàn)、權(quán)限控制、血緣追蹤、主數(shù)據(jù)管理；專屬能力則更貼近場(chǎng)景，比如營(yíng)銷標(biāo)簽、風(fēng)控規(guī)則、經(jīng)營(yíng)看板。這樣設(shè)計(jì)的好處是，中臺(tái)負(fù)責(zé)穩(wěn)定底座，業(yè)務(wù)側(cè)保留靈活度，不至于為了統(tǒng)一而犧牲效率。

細(xì)節(jié)決定能不能落地

真正落地時(shí)，架構(gòu)圖里最容易被忽略的，往往不是大模塊，而是細(xì)節(jié)連接點(diǎn)。比如任務(wù)調(diào)度和數(shù)據(jù)處理之間如何銜接，增量與全量如何共存，離線與實(shí)時(shí)如何統(tǒng)一口徑，權(quán)限是按庫(kù)表控制還是按字段、按行控制，元數(shù)據(jù)是否能自動(dòng)采集，血緣是否能追到接口級(jí)別。

這些細(xì)節(jié)決定了數(shù)據(jù)中臺(tái)是不是“能運(yùn)行的中臺(tái)”。只畫出高層模塊，不定義這些連接關(guān)系，項(xiàng)目上線后就會(huì)出現(xiàn)很多看似小、實(shí)則大的問(wèn)題：一個(gè)字段改名，影響多個(gè)報(bào)表；一個(gè)指標(biāo)調(diào)整，前后端口徑不一致；一個(gè)權(quán)限配置，業(yè)務(wù)部門看不到該看的數(shù)據(jù)。架構(gòu)圖的價(jià)值，就在于提前把這些問(wèn)題暴露出來(lái)，讓設(shè)計(jì)階段就形成約束。

看圖也要看演進(jìn)

數(shù)據(jù)中臺(tái)產(chǎn)品功能架構(gòu)圖還有一個(gè)常被低估的作用：它不是一次性文檔，而是演進(jìn)路線圖。企業(yè)的數(shù)據(jù)能力往往不是一步到位的，最初可能只解決數(shù)據(jù)匯聚和基礎(chǔ)報(bào)表，隨后才補(bǔ)上治理、資產(chǎn)管理、統(tǒng)一指標(biāo)，再往后才是數(shù)據(jù)服務(wù)化和場(chǎng)景化輸出。

所以，判斷一張架構(gòu)圖是否成熟，不能只看它“畫得全不全”，還要看它是否支持演進(jìn)。好的圖會(huì)給未來(lái)留接口，比如新增數(shù)據(jù)源是否方便接入，新增業(yè)務(wù)域是否能復(fù)用現(xiàn)有治理規(guī)則，新增服務(wù)是否能繼承已有指標(biāo)體系。能支撐擴(kuò)展的架構(gòu)，才是真正面向企業(yè)長(zhǎng)期使用的數(shù)據(jù)中臺(tái)產(chǎn)品功能架構(gòu)圖。