183.17.231.* 2020-05-27 10:28:47 |
現(xiàn)在很多數(shù)據(jù)科學(xué)家都是在研究大數(shù)據(jù)的技術(shù),很多人只是聽過大數(shù)據(jù)這個(gè)詞,但是對大數(shù)據(jù)還是不太了解的,對于大數(shù)據(jù)現(xiàn)在需要解決的關(guān)鍵問題不是很明朗。而今天我們就一起來了解一下,大數(shù)據(jù)技術(shù)應(yīng)用過程中都出現(xiàn)了哪些問題需要解決。
大數(shù)據(jù)技術(shù)應(yīng)用常見的八個(gè)問題分析
1、容量問題
這里所說的“大容量”通?蛇_(dá)到PB級的數(shù)據(jù)規(guī)模,因此,海量數(shù)據(jù)存儲系統(tǒng)也一定要有相應(yīng)等級的擴(kuò)展能力。與此同時(shí),存儲系統(tǒng)的擴(kuò)展一定要簡便,可以通過增加模塊或磁盤柜來增加容量,甚至不需要停機(jī)。在解決容量問題上,不得不提LSI公司的全新Nytro™智能化閃存解決方案,采用Nytro產(chǎn)品,客戶可以將數(shù)據(jù)庫事務(wù)處理性能提高30倍,并且超過每秒4.0GB的持續(xù)吞吐能力,非常適用于大數(shù)據(jù)分析。
2、延遲問題
“大數(shù)據(jù)”應(yīng)用還存在實(shí)時(shí)性的問題。特別是涉及到與網(wǎng)上交易或者金融類相關(guān)的應(yīng)用。有很多“大數(shù)據(jù)”應(yīng)用環(huán)境需要較高的IOPS性能,比如HPC高性能計(jì)算。此外,服務(wù)器虛擬化的普及也導(dǎo)致了對高IOPS的需求,正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn),各種模式的固態(tài)存儲設(shè)備應(yīng)運(yùn)而生,小到簡單的在服務(wù)器內(nèi)部做高速緩存,大到全固態(tài)介質(zhì)可擴(kuò)展存儲系統(tǒng)通過高性能閃存存儲,自動、智能地對熱點(diǎn)數(shù)據(jù)進(jìn)行讀/寫高速緩存的LSINytro系列產(chǎn)品等等都在蓬勃發(fā)展。
3、安全問題
某些特殊行業(yè)的應(yīng)用,比如金融數(shù)據(jù)、醫(yī)療信息以及政府情報(bào)等都有自己的安全標(biāo)準(zhǔn)和保密性需求。雖然對于IT管理者來說這些并沒有什么不同,而且都是必須遵從的,但是,大數(shù)據(jù)分析往往需要多類數(shù)據(jù)相互參考,而在過去并不會有這種數(shù)據(jù)混合訪問的情況,大數(shù)據(jù)應(yīng)用催生出一些新的、需要考慮的安全性問題,這就充分體現(xiàn)出利用基于DuraClass™技術(shù)的LSISandForce®閃存處理器的優(yōu)勢了,實(shí)現(xiàn)了企業(yè)級閃存性能和可靠性,實(shí)現(xiàn)簡單、透明的應(yīng)用加速,既安全又方便。
4、成本問題
對于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來說,成本控制是關(guān)鍵的問題。想控制成本,就意味著我們要讓每一臺設(shè)備都實(shí)現(xiàn)更高的“效率”,同時(shí)還要減少那些昂貴的部件。重復(fù)數(shù)據(jù)刪除等技術(shù)已經(jīng)進(jìn)入到主存儲市場,而且還可以處理更多的數(shù)據(jù)類型,這都可以為大數(shù)據(jù)存儲應(yīng)用帶來更多的價(jià)值,提升存儲效率。在數(shù)據(jù)量不斷增長的環(huán)境中,通過減少后端存儲的消耗,哪怕只是降低幾個(gè)百分點(diǎn),這種錙銖必較的服務(wù)器也只有LSI推出的Syncro™MX-B機(jī)架服務(wù)器啟動盤設(shè)備都能夠獲得明顯的****,當(dāng)今,數(shù)據(jù)中心使用的傳統(tǒng)引導(dǎo)驅(qū)動器不僅故障率高,而且具有較高的維修和更換成本。如果用它替換數(shù)據(jù)中心的獨(dú)立服務(wù)器引導(dǎo)驅(qū)動器,則能將可靠性提升多達(dá)100倍。并且對主機(jī)系統(tǒng)是透明的,能為每一個(gè)附加服務(wù)器提供的引導(dǎo)鏡像,可簡化系統(tǒng)管理,提升可靠性,并且節(jié)電率高達(dá)60%,真正做到了節(jié)省成本的問題。
5、數(shù)據(jù)的積累
許多大數(shù)據(jù)應(yīng)用都會涉及到法規(guī)遵從問題,這些法規(guī)通常要求數(shù)據(jù)要保存幾年或者幾十年。比如醫(yī)療信息通常是為了保證患者的生命安全,而財(cái)務(wù)信息通常要保存7年。而有些使用大數(shù)據(jù)存儲的用戶卻希望數(shù)據(jù)能夠保存更長的時(shí)間,因?yàn)槿魏螖?shù)據(jù)都是歷史記錄的一部分,而且數(shù)據(jù)的分析大都是基于時(shí)間段進(jìn)行的。要實(shí)現(xiàn)長期的數(shù)據(jù)保存,就要求存儲廠商開發(fā)出能夠持續(xù)進(jìn)行數(shù)據(jù)一致性檢測的功能以及其他保證長期高可用的特性。同時(shí)還要實(shí)現(xiàn)數(shù)據(jù)直接在原位更新的功能需求。
6、靈活性
大數(shù)據(jù)存儲系統(tǒng)的基礎(chǔ)設(shè)施規(guī)模通常都很大,因此必須經(jīng)過仔細(xì)設(shè)計(jì),才能保證存儲系統(tǒng)的靈活性,使其能夠隨著應(yīng)用分析軟件一起擴(kuò)容及擴(kuò)展。在大數(shù)據(jù)存儲環(huán)境中,已經(jīng)沒有必要再做數(shù)據(jù)遷移了,因?yàn)閿?shù)據(jù)會同時(shí)保存在多個(gè)部署站點(diǎn)。一個(gè)大型的數(shù)據(jù)存儲基礎(chǔ)設(shè)施一旦開始投入使用,就很難再調(diào)整了,因此它必須能夠適應(yīng)各種不同的應(yīng)用類型和數(shù)據(jù)場景。
7、應(yīng)用感知
早一批使用大數(shù)據(jù)的用戶已經(jīng)開發(fā)出了一些針對應(yīng)用的定制的基礎(chǔ)設(shè)施,比如針對政府項(xiàng)目開發(fā)的系統(tǒng),還有大型互聯(lián)網(wǎng)服務(wù)商創(chuàng)造的專用服務(wù)器等。在主流存儲系統(tǒng)領(lǐng)域,應(yīng)用感知技術(shù)的使用越來越普遍,它也是改善系統(tǒng)效率和性能的重要手段,所以,應(yīng)用感知技術(shù)也應(yīng)該用在大數(shù)據(jù)存儲環(huán)境里。
8、針對小用戶
依賴大數(shù)據(jù)的不僅僅是那些特殊的大型用戶群體,作為一種商業(yè)需求,小型企業(yè)未來也一定會應(yīng)用到大數(shù)據(jù)。我們看到,有些存儲廠商已經(jīng)在開發(fā)一些小型的“大數(shù)據(jù)”存儲系統(tǒng),主要吸引那些對成本比較敏感的用戶。
大數(shù)據(jù)技術(shù)應(yīng)用需注意哪些問題.中琛魔方大數(shù)據(jù)分析平臺(www.zcmorefun.com)表示大數(shù)據(jù)依然在發(fā)展中,相信在實(shí)踐的過程中,我們還會遇到很多新的問題,同時(shí)也會伴隨更多的業(yè)務(wù)創(chuàng)新和轉(zhuǎn)型,讓企業(yè)真實(shí)地回到建立的原點(diǎn),為客戶滿足他們真正的需要。 |