要建立一個(gè)完整的大數(shù)據(jù)系統(tǒng)，需要扎實(shí)、完善、高處理效率、高安全性、高穩(wěn)定性、易擴(kuò)展、大規(guī)模存儲(chǔ)的技術(shù)架構(gòu)。以下是一些截取物DMP系統(tǒng)的技術(shù)架構(gòu)圖(主要包括應(yīng)用架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)等。)供大家參考，對(duì)非技術(shù)學(xué)生也有一個(gè)感性的認(rèn)識(shí)。不要做大規(guī)模的發(fā)展。

應(yīng)用架構(gòu)主要是從應(yīng)用功能的角度描述模塊之間的關(guān)系和分工的圖紙，主要從應(yīng)用集成視圖和功能視圖的角度。幫助您直觀地了解系統(tǒng)，并幫助每個(gè)模塊協(xié)調(diào)開(kāi)發(fā)和友好集成。

集成視圖：

該視圖主要反映了各模塊之間的關(guān)系，如圖9-28所示DMP以系統(tǒng)為例，大數(shù)據(jù)平臺(tái)（BigData）通過(guò)不同的渠道交換或收集數(shù)據(jù)。例如：通過(guò)數(shù)據(jù)采集網(wǎng)絡(luò)采集線下掃描設(shè)備采集的用戶掃描數(shù)據(jù)，WIFI上網(wǎng)服務(wù)Portal用戶登錄認(rèn)證數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、點(diǎn)擊流數(shù)據(jù)等，從企業(yè)數(shù)據(jù)、連鎖店、特許經(jīng)營(yíng)店等線下場(chǎng)景中獲取掃描數(shù)據(jù)、認(rèn)證數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等。交換各種業(yè)務(wù)維度的位置數(shù)據(jù)、消費(fèi)數(shù)據(jù)、通信數(shù)據(jù)等，準(zhǔn)確描述用戶行為。在本例中，大數(shù)據(jù)平臺(tái)以服務(wù)在線廣告業(yè)務(wù)為主要業(yè)務(wù)應(yīng)用方向，將廣告管理系統(tǒng)視為外部系統(tǒng)（大數(shù)據(jù)為本體域，業(yè)務(wù)應(yīng)用為客體域），進(jìn)行外部數(shù)據(jù)交換，開(kāi)放用戶離線ID及線上ID。將用戶的線下行為與線上行為相結(jié)合，分析并貼上標(biāo)簽，指導(dǎo)線上程序化廣告。廣告系統(tǒng)將從媒體、廣告系統(tǒng)、ADX、在廣告監(jiān)控中收集各種在線用戶行為數(shù)據(jù)，并將與在線廣告相關(guān)的查看、點(diǎn)擊、招標(biāo)信息等數(shù)據(jù)注入大數(shù)據(jù)系統(tǒng)，從大數(shù)據(jù)系統(tǒng)中獲得人群肖像、招標(biāo)決策等數(shù)據(jù)支持。當(dāng)然，不同的業(yè)務(wù)應(yīng)用目的將連接不同的業(yè)務(wù)系統(tǒng)交互數(shù)據(jù)，并將大數(shù)據(jù)服務(wù)于不同的業(yè)務(wù)應(yīng)用目的。

圖9?28 DMP集成視圖示例

功能視圖：

主要描述視圖DMP如圖9-29所示，大數(shù)據(jù)平臺(tái)的基本技術(shù)功能包括數(shù)據(jù)采集、數(shù)據(jù)導(dǎo)出、數(shù)據(jù)分析、數(shù)據(jù)可視化等。數(shù)據(jù)采集的主要功能是收集數(shù)據(jù)，包括掃描采集數(shù)據(jù)、驗(yàn)證數(shù)據(jù)有效性、處理清潔數(shù)據(jù)、上傳數(shù)據(jù)、備份數(shù)據(jù)、加密解密、壓縮解壓縮ID生成等功能模塊。數(shù)據(jù)導(dǎo)出的主要功能是服務(wù)內(nèi)外數(shù)據(jù)導(dǎo)入導(dǎo)出需求，主要包括內(nèi)部ID關(guān)聯(lián)、內(nèi)部ID以及數(shù)據(jù)導(dǎo)出和外部ID匹配、外部ID功能模塊，如數(shù)據(jù)導(dǎo)入。數(shù)據(jù)分析的主要功能是根據(jù)業(yè)務(wù)應(yīng)用方向的需要對(duì)數(shù)據(jù)進(jìn)行分析和整理。在這種情況下，廣告主要包括廣告數(shù)據(jù)分析、人群肖像等功能模塊。數(shù)據(jù)可視化是數(shù)據(jù)有效輸出、支持決策、數(shù)據(jù)顯示價(jià)值的重要窗口，主要包括數(shù)據(jù)采集和監(jiān)控、數(shù)據(jù)管理、行為域可視化、數(shù)據(jù)查詢等功能模塊。

圖9?29 DMP功能視圖示例

如果我們想清楚地梳理數(shù)據(jù)，我們必須首先繪制數(shù)據(jù)架構(gòu)。在數(shù)據(jù)架構(gòu)中，我們將根據(jù)現(xiàn)有的數(shù)據(jù)內(nèi)容和應(yīng)用方向繪制主題域。通過(guò)對(duì)主題域視圖的描述，我們可以對(duì)系統(tǒng)主要管理的數(shù)據(jù)維度和數(shù)據(jù)之間的關(guān)系有一定的了解。這可以有效地引導(dǎo)有目的地收集和交換數(shù)據(jù)。我們通常將數(shù)據(jù)分為不同的主題域進(jìn)行存儲(chǔ)和分析。不同的主題域有唯一的主域數(shù)據(jù)對(duì)象，其他數(shù)據(jù)是圍繞主域數(shù)據(jù)對(duì)象族的客體域數(shù)據(jù)。如圖9-30所示，以人為核心的本體域，包括個(gè)體特征、身份證號(hào)碼、群體特征、本體關(guān)系網(wǎng)絡(luò)、標(biāo)簽、數(shù)據(jù)維度、類別等。作為人本體域，有許多描述的圖像數(shù)據(jù)，如計(jì)算機(jī)網(wǎng)絡(luò)中的應(yīng)用層QQ微信，表示層CookieID、網(wǎng)絡(luò)層的IP地址，物理層MAC電信網(wǎng)絡(luò)中的地址、手機(jī)號(hào)碼、IDFA、IMEI、AndroidID等。相對(duì)于以人為本的主體是客體區(qū)域，即與人相關(guān)的對(duì)象或非本體數(shù)據(jù)或行為，包括個(gè)體特征和群體特征。對(duì)于以廣告為主要業(yè)務(wù)應(yīng)用方向，以廣告為主要描述的客體數(shù)據(jù)，如計(jì)算和網(wǎng)絡(luò)中應(yīng)用層的廣告ID行為語(yǔ)義表達(dá)等。人類本體和網(wǎng)絡(luò)廣告和行為數(shù)據(jù)對(duì)象通過(guò)時(shí)間和空間交互，這些相關(guān)數(shù)據(jù)記錄在交互域中，如電子郵件記錄、網(wǎng)絡(luò)記錄和廣告行為、網(wǎng)絡(luò)層DHCP上網(wǎng)IP電信網(wǎng)絡(luò)中的終端位置、通話記錄、基站位置等自動(dòng)獲取記錄、物理客戶端位置和設(shè)備位置。只有通過(guò)如此嚴(yán)格和豐富的數(shù)據(jù)區(qū)分，我們才能有效地分析數(shù)據(jù)，找出有價(jià)值的內(nèi)容。

圖9?30 DMP主題域視圖示例

技術(shù)架構(gòu)通常是從技術(shù)實(shí)現(xiàn)的角度劃分不同技術(shù)開(kāi)發(fā)組件和模塊的重要過(guò)程，以確保開(kāi)發(fā)分工的協(xié)調(diào)性和系統(tǒng)功能的完整性。對(duì)組件視圖的描述非常重要。在一般技術(shù)開(kāi)發(fā)中，不同的技術(shù)組件必然會(huì)被劃分，主要是為了提高組件在系統(tǒng)建設(shè)中的可重用性，提高重用率，提高系統(tǒng)代碼質(zhì)量，減少重復(fù)輪的浪費(fèi)。如圖9-31所示，我們將DMP系統(tǒng)的技術(shù)組件分為基礎(chǔ)資源，主要負(fù)責(zé)資源的管理和操作交互（bd-res）、主要負(fù)責(zé)業(yè)務(wù)處理的業(yè)務(wù)層（bd-mod）、接口層主要負(fù)責(zé)集成和輸入輸出接口（bd-port）、以及貫穿各層的公共工具（bd-util）。公共工具（bd-util）也就是說(shuō)，每個(gè)人在各級(jí)技術(shù)開(kāi)發(fā)中都會(huì)使用的公共工具，如異常處理、類管理、開(kāi)發(fā)調(diào)試工具等?；A(chǔ)資源層主要負(fù)責(zé)數(shù)據(jù)庫(kù)處理等資源的管理和操作交互（res-db）包含對(duì)hbase、jpa、redis交互模塊、文件處理等（res-file）包含對(duì)csv、excel、大數(shù)據(jù)文件dfs、文件系統(tǒng)fs等交互模塊，網(wǎng)絡(luò)處理（res-net）包含對(duì)ftp、http、 ** il、rest交互模塊、流處理等（res-stream）包含對(duì)mns、ons等交互模塊，還有對(duì)緩存（res-cache）、大數(shù)據(jù)計(jì)算資源spark（res-spark）、大數(shù)據(jù)計(jì)算emr（MapReduce）資源（res-emr）、通用資源（res-common）等交互模塊。業(yè)務(wù)層負(fù)責(zé)業(yè)務(wù)處理，如基于spark業(yè)務(wù)計(jì)算模塊(包括聚集（gather）、學(xué)習(xí)（learn）、訓(xùn)練（trans）(訓(xùn)練包括清潔（clean）、映射（ ** p）、聚類（aggregate））、查詢（query）（包含匹配（ ** tch）、導(dǎo)出（export）、檢索（search））），基于流業(yè)務(wù)計(jì)算模塊（mod-stream），基于mr（MapReduce）業(yè)務(wù)計(jì)算模塊（mod-mr），基于共享內(nèi)存業(yè)務(wù)計(jì)算模塊（mod-shm）等。接口層主要負(fù)責(zé)集成和輸入輸出，如集成接口模塊（port-integration）、客戶端接口模塊（port-cli）、API接口模塊（port-api）、WEB接口模塊（port-web）等。

圖9?31 DMP組件視圖示例

(轉(zhuǎn)載請(qǐng)注明出處:微信訂閱號(hào):ad_auto ** tion）

文字表達(dá)有限，歡迎參加《m.89che.com線下課堂面對(duì)面回答你的問(wèn)題。

上海西陸信息科技有限公司 承接各類微信小程序開(kāi)發(fā)制作、小程序定制、APP 網(wǎng)站 開(kāi)發(fā)制作，聯(lián)系電話 18221533805、15900430334