183.17.231.* 2020-04-27 10:04:16 |
我們知道做認(rèn)識(shí)事情都有個(gè)流程順序,正確的流程可以事半功倍,錯(cuò)誤的流程往往會(huì)導(dǎo)致事情重新來(lái)做。流程如此重要,具體到數(shù)據(jù)分析的流程也是一樣的,數(shù)據(jù)分析可以分為五步,過(guò)程和家里的賢內(nèi)助做飯的過(guò)程相似,分為問(wèn)題識(shí)別,數(shù)據(jù)可行性論證,數(shù)據(jù)準(zhǔn)備,建立模型,評(píng)估結(jié)果。希望本文可以?huà)伌u引玉,引發(fā)對(duì)大數(shù)據(jù)分析的適用性、可靠穩(wěn)健的大數(shù)據(jù)分析標(biāo)準(zhǔn)、如何健康發(fā)展大數(shù)據(jù)產(chǎn)業(yè)等問(wèn)題更深入的探討。
大數(shù)據(jù)分析五大步驟
。ㄒ唬﹩(wèn)題識(shí)別
大數(shù)據(jù)分析的**步是要清晰界定需要回答的問(wèn)題。對(duì)問(wèn)題的界定有兩個(gè)標(biāo)準(zhǔn),一是清晰、二是符合現(xiàn)實(shí)。
(二)數(shù)據(jù)可行性論證
論證現(xiàn)有數(shù)據(jù)是否足夠豐富、準(zhǔn)確,以致可以為問(wèn)題提供答案,是大數(shù)據(jù)分析的第二步,項(xiàng)目是否可行取決于這步的結(jié)論。大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的生成方式有本質(zhì)不同。傳統(tǒng)數(shù)據(jù)往往是在識(shí)別問(wèn)題、根據(jù)問(wèn)題設(shè)計(jì)問(wèn)卷、之后展開(kāi)調(diào)查獲得的數(shù)據(jù),而大數(shù)據(jù)卻是企業(yè)或者個(gè)體各類(lèi)活動(dòng)產(chǎn)生的附屬產(chǎn)品。作為附屬產(chǎn)品,大數(shù)據(jù)往往不是為了特定數(shù)據(jù)項(xiàng)目生成,也存在較高噪音。這就要求數(shù)據(jù)可行性論證過(guò)程需要仔細(xì)推敲,現(xiàn)有數(shù)據(jù)得出來(lái)的結(jié)論是否足夠可靠。由于大數(shù)據(jù)分析技術(shù)本質(zhì)屬于數(shù)據(jù)挖掘法,過(guò)度擬合問(wèn)題往往是大數(shù)據(jù)分析的難點(diǎn)。
因此,在數(shù)據(jù)可行性論證主要涉及三個(gè)環(huán)節(jié)。**,厘清項(xiàng)目需要的大數(shù)據(jù)、小數(shù)據(jù)和專(zhuān)業(yè)知識(shí);第二,完成從抽象概念到具體指標(biāo)的落實(shí);第三,考察數(shù)據(jù)的代表性。
。ㄈ⿺(shù)據(jù)準(zhǔn)備
數(shù)據(jù)準(zhǔn)備環(huán)節(jié)需要梳理分析所需每個(gè)條目的數(shù)據(jù),為下一步建立模型做好從充分預(yù)備。這種準(zhǔn)備可以分為數(shù)據(jù)的采集準(zhǔn)備和清洗整理準(zhǔn)備兩步。
1.數(shù)據(jù)的采集準(zhǔn)備
為大數(shù)據(jù)分析做數(shù)據(jù)采集準(zhǔn)備時(shí),往往不能回避下列問(wèn)題:項(xiàng)目的數(shù)據(jù)預(yù)算有多少?配備的人員設(shè)備是否足夠?項(xiàng)目預(yù)期數(shù)據(jù)采集的完成期限?項(xiàng)目打算用什么方法收集數(shù)據(jù)?哪些數(shù)據(jù)是可以通過(guò)自身努力來(lái)獲取,哪些數(shù)據(jù)需要通過(guò)購(gòu)買(mǎi)獲得?哪些數(shù)據(jù)獲取中會(huì)存在時(shí)間和經(jīng)費(fèi)上的不確定性?如果一些重要問(wèn)題的答案是否定的或者含糊的,就可能需要重新回到數(shù)據(jù)可行性論證環(huán)節(jié)。這一點(diǎn),對(duì)于希望用大數(shù)據(jù)分析做產(chǎn)品的小微企業(yè)、新創(chuàng)企業(yè)尤為重要。
2.數(shù)據(jù)的清洗整理準(zhǔn)備
雖然數(shù)據(jù)清理包含不少常規(guī)處理,但是高質(zhì)量的數(shù)據(jù)清理工作需要數(shù)據(jù)準(zhǔn)備團(tuán)隊(duì)時(shí)刻對(duì)項(xiàng)目目標(biāo)了然于胸。
。ㄋ模┙⒛P
大數(shù)據(jù)分析項(xiàng)目需要建立的模型可以分為兩類(lèi)。對(duì)于這兩類(lèi)模型,團(tuán)隊(duì)都需要在設(shè)立模型、論證模型的可靠性方面下功夫。
1.專(zhuān)業(yè)領(lǐng)域模型
大數(shù)據(jù)產(chǎn)品對(duì)應(yīng)的項(xiàng)目可能有對(duì)應(yīng)的專(zhuān)業(yè)領(lǐng)域模型,例如PEST分析模型、5W2H分析模型、邏輯樹(shù)分析模型、4P營(yíng)銷(xiāo)理論模型、用戶(hù)行為模型等。數(shù)據(jù)團(tuán)隊(duì)需要明確為何選擇某個(gè)專(zhuān)業(yè)領(lǐng)域的模型。
2.數(shù)據(jù)分析模型
這類(lèi)模型包含分析結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)挖掘算法模型;處理非結(jié)構(gòu)化數(shù)據(jù)的語(yǔ)義引擎;可視化策略等。流行觀點(diǎn)中的大數(shù)據(jù)分析主要集中在對(duì)第二類(lèi)模型的討論上。
建立模型時(shí)既需要強(qiáng)大運(yùn)算能力,也需要專(zhuān)家的主觀判斷。
。ㄎ澹┰u(píng)估結(jié)果
評(píng)估結(jié)果階段是要評(píng)估上述步驟得到的結(jié)果是否足夠嚴(yán)謹(jǐn)可靠,并確保數(shù)據(jù)分析結(jié)果能夠有利于決策。評(píng)估結(jié)果包括定量評(píng)估和定性評(píng)估兩部分。
1.定量評(píng)估
定量評(píng)估是關(guān)注主觀標(biāo)準(zhǔn)的可靠性。數(shù)據(jù)挖掘分析方法在計(jì)算上雖然依靠技術(shù),但不少關(guān)鍵節(jié)點(diǎn)依靠主觀標(biāo)準(zhǔn)。
2.定性評(píng)估
定性評(píng)估的重點(diǎn)是考察大數(shù)據(jù)分析的結(jié)果是否合理、方案是否可行。
在評(píng)估大數(shù)據(jù)分析的結(jié)果時(shí),由于定性評(píng)估往往需要一段時(shí)間之后才能完成,因此將大數(shù)據(jù)分析結(jié)果用于現(xiàn)實(shí)時(shí),需要采取審慎步驟。
大數(shù)據(jù)分析五步法流程順序.以上五大步驟構(gòu)成一個(gè)完整的數(shù)據(jù)分析過(guò)程,中琛魔方大數(shù)據(jù)分析平臺(tái)(www.zcmorefun.com)表示從開(kāi)始思考目標(biāo)到**可視化呈現(xiàn),從發(fā)現(xiàn)問(wèn)題到提出解決方案,身為數(shù)據(jù)運(yùn)營(yíng)者,我們既需要有整體思維,能夠從全流程去把握數(shù)據(jù)分析方法,也需要對(duì)細(xì)節(jié)**追求,優(yōu)化每一個(gè)步驟。當(dāng)我們能夠從整體和細(xì)節(jié)都游刃有余得進(jìn)行數(shù)據(jù)分析的時(shí)候,你就是一個(gè)合格甚至**的數(shù)據(jù)運(yùn)營(yíng)者。 |