183.17.230.* 2020-10-19 13:15:16 |
大數(shù)據(jù)時(shí)代,大多數(shù)企業(yè)的架構(gòu)必然向著分布式、可擴(kuò)展及多元化發(fā)展,所謂合久必分,不再有一種技術(shù)能包打天下了,這沖擊著傳統(tǒng)企業(yè)集中化的技術(shù)外包模式,挑戰(zhàn)是巨大的。那么常見的數(shù)據(jù)平臺(tái)架構(gòu)有哪些?
一、常規(guī)數(shù)據(jù)倉庫
數(shù)據(jù)倉庫的重點(diǎn),是對(duì)數(shù)據(jù)進(jìn)行整合,同時(shí)也是對(duì)業(yè)務(wù)邏輯的一個(gè)梳理。數(shù)據(jù)倉庫雖然也可以打包成SAAS那種Cube一類的東西來提升數(shù)據(jù)的讀取性能,但是數(shù)據(jù)倉庫的作用,更多的是為了解決公司的業(yè)務(wù)問題。
二、敏捷型數(shù)據(jù)集市
數(shù)據(jù)集市也是常見的一種數(shù)據(jù)平臺(tái)架構(gòu)方案,底層的數(shù)據(jù)產(chǎn)品與分析層綁定,使得應(yīng)用層可以直接對(duì)底層數(shù)據(jù)產(chǎn)品中的數(shù)據(jù)進(jìn)行拖拽式分析。數(shù)據(jù)集市,主要的優(yōu)勢(shì)在于對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行簡單的、快速的整合,實(shí)現(xiàn)敏捷建模,并且大幅提升數(shù)據(jù)的處理速度。
三、MPP(大規(guī)模并行處理)架構(gòu)
進(jìn)入大數(shù)據(jù)時(shí)代以來,傳統(tǒng)的主機(jī)計(jì)算模式已經(jīng)不能滿足需求了,分布式存儲(chǔ)和分布式計(jì)算才是王道。大家所熟悉的Hadoop MapReduce框架以及MPP計(jì)算框架,都是基于這一背景產(chǎn)生。MPP架構(gòu)的代表產(chǎn)品,就是Greenplum。Greenplum的數(shù)據(jù)庫引擎是基于Postgresql的,并且通過Interconnnect神器實(shí)現(xiàn)了對(duì)同一個(gè)集群中多個(gè)Postgresql實(shí)例的**協(xié)同和并行計(jì)算。
四、Hadoop分布式系統(tǒng)架構(gòu)
說及大規(guī)模分布式系統(tǒng)架構(gòu),Hadoop依然站在不可代替的關(guān)鍵位置上。雅虎、Facebook、百度、淘寶等國內(nèi)外大企,最初都是基于Hadoop來展開的。Hadoop生態(tài)體系龐大,企業(yè)基于Hadoop所能實(shí)現(xiàn)的需求,也不**于數(shù)據(jù)分析,也包括機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、實(shí)時(shí)系統(tǒng)等。企業(yè)搭建大數(shù)據(jù)系統(tǒng)平臺(tái),Hadoop的大數(shù)據(jù)處理能力、高可靠性、高容錯(cuò)性、開源性以及低成本,都使得它成為**。
常見數(shù)據(jù)平臺(tái)架構(gòu)有哪些.中琛魔方大數(shù)據(jù)平臺(tái)(zcmorefun.com)表示對(duì)于大數(shù)據(jù)平臺(tái)的商業(yè)版本,企業(yè)面對(duì)的是合作伙伴的服務(wù)跟不上,因?yàn)榘l(fā)展太快,對(duì)于開源版本,企業(yè)面臨的是自身運(yùn)維能力和技術(shù)能力的挑戰(zhàn),對(duì)于自主能力實(shí)際要求更高。 |