大數(shù)據(jù)分析的工作內(nèi)容

　　大數(shù)據(jù)分析崗有些神秘，主要是因為在普通人看來，超過500kb的數(shù)據(jù)都把自己給難到不行，但是大數(shù)據(jù)分析師卻能處理超過10tb的數(shù)據(jù)集，這在她們看來很難理解。而對于在大數(shù)據(jù)分析崗上正在從業(yè)的人士而言，大數(shù)據(jù)分析的工作早就被流程化了，只要按照數(shù)據(jù)獲得、數(shù)據(jù)清洗、數(shù)據(jù)存儲、數(shù)據(jù)建模、數(shù)據(jù)分析、可視化結論等幾個模塊去執(zhí)行，在每個環(huán)節(jié)用到不同的系統(tǒng)和軟件，用鼠標點一點就能完成操作，不算難。
 

　　具體來說，大數(shù)據(jù)分析師的工作包含以下這些：

　　第一，數(shù)據(jù)獲得，通過多渠道方式獲得大量數(shù)據(jù)，有什么方式可以得到數(shù)據(jù)呢?

　　1、爬蟲，就是在網(wǎng)上獲取。

　　2、問卷調查，這項工作可以交給專業(yè)的收集公司，他們會安排專人在大型商場或者是車站等地進行數(shù)據(jù)收集，為了保證數(shù)據(jù)收集的高效性一般會發(fā)一些小禮物給大家。

　　第二，數(shù)據(jù)清洗，即便有小禮物可拿，但趕著回去煮飯的家庭主婦、趕著去上班的白領們未必會很認真的填寫，所以初期收集到的數(shù)據(jù)未必是真實的，可能會參雜著一定水分，所以需要做無效數(shù)據(jù)的剔除，確保留下來的都有分析的可能性。

　　第三，數(shù)據(jù)建模，建模乃是大數(shù)據(jù)分析的最難點，因為數(shù)據(jù)量大，看著A數(shù)據(jù)和B數(shù)據(jù)有關聯(lián)，B數(shù)據(jù)和C數(shù)據(jù)也有關聯(lián)，所以這時候就需要選擇不同的切入點做建模，甚至根據(jù)過去調查結果顯示，大多數(shù)剛走上大數(shù)據(jù)分析崗的新人都需要嘗試n次之后才能找到正確的切入點。

　　第四，數(shù)據(jù)分析，為了保證最后結果的準確性，在建模環(huán)節(jié)不少人會多角度切入同時操作，這樣在一個模型不契合之后可以直接進入到另外一個模型的反向評估，而所謂的數(shù)據(jù)分析其實就是反向評估的過程，隨意拿數(shù)據(jù)套入到模型中看看是否滿足，如果不滿足就需要重新開始。

　　第五，可視化結論的獲得，按照以上所說去反向評估之后應該就能得到一個跟真實情況維持一致的模型，這還不夠，還需要以大眾懂得的語言來得到結論，對非專業(yè)人士而言，他們并不知道到底這個模型圖片代表著什么，你需要用文字組織語言、告訴大家這次分析之后的結果：不同參數(shù)數(shù)據(jù)之間的大概關系。

　　以上流程的執(zhí)行雖然不難，但是要在每個環(huán)節(jié)上都做到需要學會各種不同的工具軟件，如R，Tableau，Python，Matlab，Hive，Impala，PySpark，Excel，Hadoop，SQL和SAS，這些一個都不能少。懂流程，懂軟件就可以開始嘗試著分析了，也許初次接觸的分析結果跟實際情況不統(tǒng)一，但總是能走完整個流程的。