大數(shù)據(jù)分析必備技能有哪些

　　傳統(tǒng)數(shù)據(jù)分析無法應(yīng)對(duì)大數(shù)據(jù)的出現(xiàn)，大數(shù)據(jù)本質(zhì)上是結(jié)構(gòu)化和非結(jié)構(gòu)化的大數(shù)據(jù)。能夠在關(guān)系數(shù)據(jù)庫管理系統(tǒng)上進(jìn)行導(dǎo)航并使用統(tǒng)計(jì)算法得出見解的需求還更多。
 

　　好消息是，無論您處理的是小型數(shù)據(jù)集，大型數(shù)據(jù)集，還是非結(jié)構(gòu)化數(shù)據(jù)集，分析部分均保持不變。大數(shù)據(jù)中最需要的是每分鐘從龐大的數(shù)據(jù)處理量中提取相關(guān)信息的能力。這需要技術(shù)與傳統(tǒng)分析聯(lián)手。
 

　　現(xiàn)在讓我們看看成為大數(shù)據(jù)分析師所需的一些關(guān)鍵技能–

　　1、編程
 

　　盡管傳統(tǒng)的數(shù)據(jù)分析員可能不需要一個(gè)成熟的程序員就可以擺脫困境，但是大數(shù)據(jù)分析員需要非常熟悉編碼。主要原因之一是大數(shù)據(jù)仍處于發(fā)展階段。圍繞大數(shù)據(jù)分析師必須處理的大型復(fù)雜數(shù)據(jù)集設(shè)置的標(biāo)準(zhǔn)流程并不多。每天都需要大量定制以處理非結(jié)構(gòu)化數(shù)據(jù)。
 

　　大數(shù)據(jù)分析需要懂哪些語言R，Python，Java，C ++，Ruby，SQL，Hive，SAS，SPSS，MATLAB，Weka，Julia和Scala。正如您所不知道的那樣，語言不應(yīng)該成為大數(shù)據(jù)科學(xué)家的障礙。至少需要了解R，Python和Java。在工作時(shí)，您可能最終會(huì)使用各種工具。編程語言僅是一種工具，而且在您的小貓咪中擁有更多工具，這是更好的選擇。
 

　　2、數(shù)據(jù)倉庫
 

　　必須具有關(guān)系和非關(guān)系數(shù)據(jù)庫系統(tǒng)的經(jīng)驗(yàn)。非關(guān)系數(shù)據(jù)庫的示例包括– Mysql，Oracle，DB2。非關(guān)系數(shù)據(jù)庫的示例包括– NoSql：Hbase，HDFS，MongoDB，CouchDB，Cassandra，Teradeta等。
 

　　3、計(jì)算框架
 

　　對(duì)諸如Apache Spark，Apache Storm，Apache Samza，Apache Flink和經(jīng)典的MapReduce和Hadoop之類的框架有很好的了解和熟悉。這些技術(shù)有助于大數(shù)據(jù)處理，并且可以在很大程度上進(jìn)行流傳輸。
 

　　4、定量能力統(tǒng)計(jì)
 

　　盡管處理大數(shù)據(jù)需要大量使用技術(shù)，但是任何數(shù)據(jù)分析的基礎(chǔ)都是對(duì)統(tǒng)計(jì)和線性代數(shù)的深入了解。統(tǒng)計(jì)學(xué)是數(shù)據(jù)科學(xué)的基本組成部分，如果您是任何類型的數(shù)據(jù)科學(xué)家，那么對(duì)摘要統(tǒng)計(jì)，概率分布，隨機(jī)變量等核心概念的理解就很重要。
 

　　5、商業(yè)知識(shí)
 

　　為了保持分析的重點(diǎn)，驗(yàn)證，分類，關(guān)聯(lián)和評(píng)估數(shù)據(jù)，大數(shù)據(jù)科學(xué)家的最關(guān)鍵技能是對(duì)正在研究的領(lǐng)域有充分的??了解。實(shí)際上，大數(shù)據(jù)分析師需求如此之大的原因是，很難找到對(duì)技術(shù)方面，統(tǒng)計(jì)數(shù)據(jù)和業(yè)務(wù)有透徹了解的資源。有分析家擅長業(yè)務(wù)和統(tǒng)計(jì)，但不擅長編程。有些專家程序員不知道如何將程序放在業(yè)務(wù)目標(biāo)的上下文中。
 

　　為了保持分析的重點(diǎn)，驗(yàn)證，分類，關(guān)聯(lián)和評(píng)估數(shù)據(jù)，大數(shù)據(jù)科學(xué)家的最關(guān)鍵技能是對(duì)正在研究的領(lǐng)域有充分的??了解。實(shí)際上，大數(shù)據(jù)分析師需求如此之大的原因是，很難找到對(duì)技術(shù)方面，統(tǒng)計(jì)數(shù)據(jù)和業(yè)務(wù)有透徹了解的資源。
 

　　有分析家擅長業(yè)務(wù)和統(tǒng)計(jì)，但不擅長編程。有些專家程序員不知道如何將程序放在業(yè)務(wù)目標(biāo)的上下文中。
 

　　最后，很好地掌握機(jī)器學(xué)習(xí)非常有好處，因?yàn)樗兄诠芾韽?fù)雜的數(shù)據(jù)結(jié)構(gòu)和學(xué)習(xí)模式，而這些數(shù)據(jù)和學(xué)習(xí)模式很難使用傳統(tǒng)數(shù)據(jù)分析來處理。