設(shè)計(jì)思路 如何設(shè)計(jì)企業(yè)內(nèi)部的數(shù)據(jù)平臺(tái)?
如何設(shè)計(jì)企業(yè)內(nèi)部的數(shù)據(jù)平臺(tái)?企業(yè)內(nèi)部數(shù)據(jù)平臺(tái)主要根據(jù)實(shí)際業(yè)務(wù)需要,對(duì)相關(guān)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析、處理和顯示。在這個(gè)過程中,涉及到數(shù)據(jù)采集(可以使用數(shù)據(jù)報(bào)表平臺(tái))、數(shù)據(jù)分析、數(shù)據(jù)集成等,然后通過數(shù)據(jù)分析平臺(tái)的
如何設(shè)計(jì)企業(yè)內(nèi)部的數(shù)據(jù)平臺(tái)?
企業(yè)內(nèi)部數(shù)據(jù)平臺(tái)主要根據(jù)實(shí)際業(yè)務(wù)需要,對(duì)相關(guān)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析、處理和顯示。在這個(gè)過程中,涉及到數(shù)據(jù)采集(可以使用數(shù)據(jù)報(bào)表平臺(tái))、數(shù)據(jù)分析、數(shù)據(jù)集成等,然后通過數(shù)據(jù)分析平臺(tái)的各種組件(條形圖、餅圖、散點(diǎn)圖、折線圖、,幫助企業(yè)通過數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng),并協(xié)助領(lǐng)導(dǎo)層決策。所以在設(shè)計(jì)企業(yè)內(nèi)部數(shù)據(jù)平臺(tái)時(shí),需要根據(jù)企業(yè)的具體情況和解決問題的原則進(jìn)行設(shè)計(jì)。
首先要深入了解各部門的業(yè)務(wù)需求,根據(jù)本部門的現(xiàn)狀特點(diǎn)和實(shí)際情況制定不同的分析策略,找出本部門最需要的黃金數(shù)據(jù),并結(jié)合企業(yè)現(xiàn)有資源進(jìn)行分析展示,幫助各業(yè)務(wù)部門找出存在的問題及后續(xù)整改方案。
由于不同角色的關(guān)注點(diǎn)不同,數(shù)據(jù)平臺(tái)的設(shè)計(jì)應(yīng)該是層次化的,既能滿足領(lǐng)導(dǎo)的大局,又能考慮一線人員的實(shí)際需求。通常情況下,領(lǐng)導(dǎo)者需要關(guān)注全局,把握全局方向,而一線人員則需要更細(xì)致的數(shù)據(jù)粒度,因此企業(yè)數(shù)據(jù)平臺(tái)的設(shè)計(jì)需要提供多個(gè)視角。
很多企業(yè)已經(jīng)有多個(gè)系統(tǒng),但是這些系統(tǒng)沒有統(tǒng)一的規(guī)則,甚至有很多垃圾數(shù)據(jù),這給數(shù)據(jù)分析帶來很大的困難,影響了數(shù)據(jù)的有效性。此時(shí),有必要對(duì)企業(yè)的現(xiàn)有數(shù)據(jù)進(jìn)行管理。通過對(duì)主數(shù)據(jù)平臺(tái)的治理,可以有效保證企業(yè)內(nèi)部數(shù)據(jù)的一致性、完整性和準(zhǔn)確性,使所分析的數(shù)據(jù)更加準(zhǔn)確。
門戶網(wǎng)站的技術(shù)架構(gòu)怎樣設(shè)計(jì)方案?
我參與了一個(gè)行業(yè)門戶的設(shè)計(jì)。我覺得我已經(jīng)解決了大型網(wǎng)站面臨的一系列問題和挑戰(zhàn),比如高并發(fā)訪問、海量數(shù)據(jù)處理、高可靠性運(yùn)行等等。在實(shí)踐中,我提出了許多解決方案來實(shí)現(xiàn)各種技術(shù)架構(gòu)目標(biāo),例如高性能、高可用性、可伸縮性、可伸縮性和安全性。這些解決方案被更多的網(wǎng)站反復(fù)使用,從而逐漸形成了大規(guī)模的網(wǎng)站架構(gòu)模式。分布式應(yīng)用和服務(wù):除了提高網(wǎng)站性能和并發(fā)性,加快開發(fā)和發(fā)布速度,減少數(shù)據(jù)庫(kù)連接資源消耗之外,分層、分段的應(yīng)用和服務(wù)模塊的分布式部署還可以使不同的應(yīng)用重用公共服務(wù),方便業(yè)務(wù)功能擴(kuò)展。
2. 分布式靜態(tài)資源:JS、CSS、logo、image等網(wǎng)站靜態(tài)資源獨(dú)立部署、分布式,采用獨(dú)立域名,通常稱為動(dòng)靜分離。靜態(tài)資源分布式部署可以降低應(yīng)用服務(wù)器的負(fù)載壓力;通過使用獨(dú)立域名加快瀏覽器的并發(fā)加載;由負(fù)責(zé)用戶體驗(yàn)的團(tuán)隊(duì)負(fù)責(zé)網(wǎng)站的開發(fā)和維護(hù),有利于網(wǎng)站的分工與合作,使不同的用戶體驗(yàn)不一樣工作類型可以是專門的。
3. 分布式數(shù)據(jù)與存儲(chǔ):大型網(wǎng)站需要以P為單位處理海量數(shù)據(jù),單臺(tái)計(jì)算機(jī)無法提供如此大的存儲(chǔ)空間,這些數(shù)據(jù)需要分布式存儲(chǔ)。除了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的分布式部署外,各種面向網(wǎng)站應(yīng)用的NoSQL產(chǎn)品也都是分布式的。
4. 分布式計(jì)算:嚴(yán)格來說,應(yīng)用程序、服務(wù)和實(shí)時(shí)數(shù)據(jù)處理都是計(jì)算。除了這些在線業(yè)務(wù),網(wǎng)站還有大量用戶沒有直觀感受的后端業(yè)務(wù)需要處理,包括搜索引擎的索引構(gòu)建、數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)分析和統(tǒng)計(jì)等,這些服務(wù)的計(jì)算規(guī)模非常大。目前,Hadoop及其MapReduce分布式計(jì)算框架廣泛應(yīng)用于此類批量計(jì)算的網(wǎng)站,其特點(diǎn)是移動(dòng)計(jì)算而不是移動(dòng)數(shù)據(jù)。將計(jì)算程序分發(fā)到數(shù)據(jù)所在的位置,加快了計(jì)算和分布式計(jì)算的速度。
總之,分布式設(shè)計(jì)思想很多,比如支持在線服務(wù)器配置實(shí)時(shí)更新的分布式配置,在分布式環(huán)境下實(shí)現(xiàn)并發(fā)和協(xié)作的分布式鎖,支持云存儲(chǔ)的分布式文件系統(tǒng)。