剖析什么是大數(shù)據(jù)分析

　　大數(shù)據(jù)分析，您以前沒有聽過這個詞嗎?在過去的4至5年中，每個人都在談?wù)摯髷?shù)據(jù)分析。但是您真的知道這個大數(shù)據(jù)分析到底是什么，它對我們的生活有何影響，以及為什么組織正在尋找具有大數(shù)據(jù)分析技能的專業(yè)人員?在本大數(shù)據(jù)分析文章中，AAA教育小編將為您提供有關(guān)大數(shù)據(jù)分析的完整見解。

　　以下是我將在本大數(shù)據(jù)分析培訓課程中介紹的主題：

　　1、大數(shù)據(jù)分析的故事

　　2、大數(shù)據(jù)分析驅(qū)動因素

　　3、什么是大數(shù)據(jù)分析?

　　4、大數(shù)據(jù)分析特征

　　5、大數(shù)據(jù)分析類型

　　6、大數(shù)據(jù)分析示例

　　7、大數(shù)據(jù)分析的應用

　　8、大數(shù)據(jù)分析挑戰(zhàn)
 

　　讓我從一個簡短的故事開始這個大數(shù)據(jù)分析培訓課程。
 

一、大數(shù)據(jù)分析的故事
 

　　在遠古時代，人們曾經(jīng)用馬車從一個村莊到另一個村莊旅行，但是隨著時間的流逝，村莊變成了城鎮(zhèn)，人們散布開來。從一個鎮(zhèn)到另一個鎮(zhèn)的距離也增加了。因此，隨身攜帶行李成為在城鎮(zhèn)之間旅行的問題。突然，一個聰明的家伙建議，我們應該多梳洗一匹馬，以解決這個問題。當我看這個解決方案時，還不錯，但是您認為一匹馬會變成大象嗎?我不這么認為。另一個聰明的家伙說，讓我們有4匹馬來拉同一輛車，而不是1匹馬拉車。你們?nèi)绾慰创@個解決方案?我認為這是一個很棒的解決方案?，F(xiàn)在，人們可以在更短的時間內(nèi)長途跋涉，甚至可以攜帶更多的行李。
 

　　相同的概念適用于大數(shù)據(jù)分析。大數(shù)據(jù)分析表示，直到今天，我們還可以將數(shù)據(jù)存儲到服務(wù)器中，因為數(shù)據(jù)量非常有限，并且處理這些數(shù)據(jù)的時間也還可以。但是現(xiàn)在在當今的技術(shù)世界中，數(shù)據(jù)增長過快，人們很多時候都依賴數(shù)據(jù)。同樣，數(shù)據(jù)的增長速度很快，就不可能將數(shù)據(jù)存儲到任何服務(wù)器中。
 

　　通過AAA教育大數(shù)據(jù)分析培訓課程，讓我們探索傳統(tǒng)系統(tǒng)無法存儲和處理的大數(shù)據(jù)分析來源。
 

二、大數(shù)據(jù)分析驅(qū)動因素
 

　　出于多種原因，地球上的數(shù)據(jù)量呈指數(shù)增長。各種來源和我們的日?；顒佣紩a(chǎn)生大量數(shù)據(jù)。隨著網(wǎng)絡(luò)的發(fā)明，整個世界已經(jīng)聯(lián)機，我們所做的每一件事都留下了數(shù)字痕跡。隨著智能對象上線，數(shù)據(jù)增長率迅速提高。大數(shù)據(jù)分析的主要來源是社交媒體站點，傳感器網(wǎng)絡(luò)，數(shù)字圖像/視頻，手機，購買交易記錄，Web日志，病歷，檔案，軍事監(jiān)視，電子商務(wù)，復雜的科學研究等。所有這些信息總計約五百億字節(jié)的數(shù)據(jù)。到2020年，數(shù)據(jù)量將達到40 ZB，相當于將地球上每一個沙粒的總和乘以75。
 

三、什么是大數(shù)據(jù)分析?

　　大數(shù)據(jù)分析是一個大而復雜的數(shù)據(jù)集的集合，很難使用可用的數(shù)據(jù)庫管理工具或傳統(tǒng)的數(shù)據(jù)處理應用程序進行存儲和處理。挑戰(zhàn)包括捕獲，管理，存儲，搜索，共享，傳輸，分析和可視化此數(shù)據(jù)。
 

四、大數(shù)據(jù)分析特征
 

　　定義大數(shù)據(jù)分析的五個特征是：數(shù)量，速度，多樣性，準確性和價值。

　　4.1、體積

　　數(shù)量是指“數(shù)據(jù)量”，它以非常快的速度每天增長。人，機器及其在社交媒體上的交互所生成的數(shù)據(jù)量巨大。研究人員預測，到2020年將產(chǎn)生40 ZB(40,000 Exabytes)，比2005年增長300倍。

　　4.2、速度
 

　　速度定義為不同來源每天生成數(shù)據(jù)的速度。這種數(shù)據(jù)流是巨大且連續(xù)的。截至目前，移動上的每日活躍用戶(Facebook DAU)達到10.3億，同比增長22%。這顯示了社交媒體上用戶數(shù)量的增長速度以及每天生成數(shù)據(jù)的速度。如果您能夠處理速度，則將能夠生成見解并根據(jù)實時數(shù)據(jù)做出決策。

　　4.3、品種
 

　　由于有許多來源有助于大數(shù)據(jù)分析，因此它們生成的數(shù)據(jù)類型是不同的。它可以是結(jié)構(gòu)化，半結(jié)構(gòu)化或非結(jié)構(gòu)化的。因此，每天都會生成各種數(shù)據(jù)。之前，我們曾經(jīng)從Excel和數(shù)據(jù)庫中獲取數(shù)據(jù)，現(xiàn)在數(shù)據(jù)以圖像，音頻，視頻，傳感器數(shù)據(jù)等形式出現(xiàn)，如下圖所示。因此，各種各樣的非結(jié)構(gòu)化數(shù)據(jù)在捕獲，存儲，挖掘和分析數(shù)據(jù)方面造成了問題。

　　4.4、準確性
 

　　準確性是指由于數(shù)據(jù)不一致和不完整而對可用數(shù)據(jù)存有疑問或不確定性。在下圖中，您可以看到表格中缺少幾個值。另外，有些值很難接受，例如–第三行的最小值15000，這是不可能的。這種不一致和不完整就是準確性。

　　可用數(shù)據(jù)有時會變得混亂，甚至難以信任。擁有多種形式的大數(shù)據(jù)分析，難以控制質(zhì)量和準確性，例如帶有標簽，縮寫，錯別字和口語的Twitter帖子。數(shù)據(jù)量通常是數(shù)據(jù)缺乏質(zhì)量和準確性的原因。
 

　　由于數(shù)據(jù)的不確定性，三分之一的業(yè)務(wù)主管不信任他們用于決策的信息。
 

　　在一項調(diào)查中發(fā)現(xiàn)，有27%的受訪者不確定自己的數(shù)據(jù)有多少不準確。
 

　　糟糕的數(shù)據(jù)質(zhì)量每年給美國經(jīng)濟造成約3.1萬億美元的損失。
 

　　4.5、值
 

　　在討論了體積，速度，多樣性和準確性之后，在查看大數(shù)據(jù)分析(即價值)時，還應該考慮另一個V。訪問大數(shù)據(jù)分析固然很好，但除非我們能夠?qū)⑵滢D(zhuǎn)化為價值，否則它是沒有用的。通過將其轉(zhuǎn)化為價值，我的意思是，它是否會增加正在分析大數(shù)據(jù)分析的組織的收益?致力于大數(shù)據(jù)分析的組織是否實現(xiàn)了高ROI(投資回報率)?除非它通過處理大數(shù)據(jù)分析來增加他們的利潤，否則它是沒有用的。
 

　　正如在Variety中討論的那樣，每天都會生成不同類型的數(shù)據(jù)。因此，讓我們現(xiàn)在了解數(shù)據(jù)的類型：
 

五、大數(shù)據(jù)分析類型
 

　　大數(shù)據(jù)分析可以分為三種類型：
 

　　5.1、結(jié)構(gòu)化的

　　5.2、半結(jié)構(gòu)化

　　5.3、非結(jié)構(gòu)化

　　5.1、結(jié)構(gòu)化的
 

　　可以以固定格式存儲和處理的數(shù)據(jù)稱為結(jié)構(gòu)化數(shù)據(jù)。關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)中存儲的數(shù)據(jù)是“結(jié)構(gòu)化”數(shù)據(jù)的一個示例。由于結(jié)構(gòu)化數(shù)據(jù)具有固定的架構(gòu)，因此很容易處理。結(jié)構(gòu)化查詢語言(SQL)通常用于管理此類數(shù)據(jù)。
 

　　5.2、半結(jié)構(gòu)化
 

　　半結(jié)構(gòu)化數(shù)據(jù)是一種不具有數(shù)據(jù)模型的正式結(jié)構(gòu)(即關(guān)系DBMS中的表定義)的數(shù)據(jù)類型，但是它具有一些組織屬性(如標簽和其他標記)來分隔語義元素，這使得它更容易分析。XML文件或JSON文檔是半結(jié)構(gòu)化數(shù)據(jù)的示例。
 

　　5.3、非結(jié)構(gòu)化
 

　　除非轉(zhuǎn)換為結(jié)構(gòu)化格式，否則格式未知且無法存儲在RDBMS中且無法進行分析的數(shù)據(jù)稱為非結(jié)構(gòu)化數(shù)據(jù)。文本文件和多媒體內(nèi)容(例如圖像，音頻，視頻)是非結(jié)構(gòu)化數(shù)據(jù)的示例。專家說，非結(jié)構(gòu)化數(shù)據(jù)的增長速度比其他數(shù)據(jù)快，專家表示，組織中80%的數(shù)據(jù)都是非結(jié)構(gòu)化的。
 

　　到目前為止，我僅介紹了大數(shù)據(jù)分析的介紹。此外，本大數(shù)據(jù)分析教程還討論了大數(shù)據(jù)分析中的示例，應用程序和挑戰(zhàn)。
 

六、大數(shù)據(jù)分析示例
 

　　每天，我們上傳數(shù)百萬字節(jié)的數(shù)據(jù)。最近兩年創(chuàng)建了世界90%的數(shù)據(jù)。

　　沃爾瑪每小時處理超過一百萬次客戶交易。
 

　　百度的存儲，訪問和分析30 PB以上用戶生成的數(shù)據(jù)。
 

　　每天都會創(chuàng)建230+百萬條軟文。
 

　　全球有超過50億人在用手機打電話，發(fā)短信，發(fā)推文和瀏覽。
 

　　抖音用戶每天每分鐘上傳48個小時的新視頻。
 

　　阿里巴巴每天處理1500萬客戶點擊流用戶數(shù)據(jù)以推薦產(chǎn)品。
 

　　每天發(fā)送2940億封電子郵件。服務(wù)會分析此數(shù)據(jù)以查找垃圾郵件。
 

　　現(xiàn)代汽車有近100個傳感器，可監(jiān)控燃油水平，輪胎壓力等。每輛汽車都會生成大量傳感器數(shù)據(jù)。
 

七、大數(shù)據(jù)分析的應用
 

　　我們不能談?wù)摂?shù)據(jù)，而無需談?wù)撃切拇髷?shù)據(jù)分析應用程序中受益的人。當今，幾乎所有行業(yè)都以一種或另一種方式利用大數(shù)據(jù)分析應用程序。

　　更智慧的醫(yī)療保?。豪没颊邤?shù)據(jù)的PB級，組織可以提取有意義的信息，然后構(gòu)建可以預先預測患者病情惡化的應用程序。
 

　　電信：電信部門收集信息，對其進行分析并提供針對不同問題的解決方案。通過使用大數(shù)據(jù)分析應用程序，電信培訓機構(gòu)已經(jīng)能夠顯著減少數(shù)據(jù)包丟失(這種情況在網(wǎng)絡(luò)過載時發(fā)生)，從而為客戶提供無縫連接。
 

　　零售：零售的利潤空間最窄，是大數(shù)據(jù)分析的最大受益者之一。在零售業(yè)中使用大數(shù)據(jù)分析的好處在于了解消費者的行為。亞馬遜的推薦引擎根據(jù)消費者的瀏覽歷史記錄提供建議。
 

　　交通控制：交通擁堵是全球許多城市面臨的主要挑戰(zhàn)。隨著城市人口的日益稠密，有效利用數(shù)據(jù)和傳感器將是更好地管理交通的關(guān)鍵。
 

　　制造業(yè)：分析制造業(yè)中的大數(shù)據(jù)分析可以減少組件缺陷，提高產(chǎn)品質(zhì)量，提高效率并節(jié)省時間和金錢。
 

　　搜索質(zhì)量：每次我們從Google提取信息時，我們都會同時為其生成數(shù)據(jù)。Google會存儲這些數(shù)據(jù)，并使用它來提高搜索質(zhì)量。
 

　　有人正確地說：“花園里不是所有的東西都是玫瑰花!”。到目前為止，在本大數(shù)據(jù)分析教程中，我剛剛向您展示了大數(shù)據(jù)分析的美好前景。但是，如果利用大數(shù)據(jù)分析如此簡單，您難道不認為所有組織都會對此進行投資嗎?我先告訴你，事實并非如此。使用大數(shù)據(jù)分析時會遇到一些挑戰(zhàn)。
 

　　既然您已經(jīng)熟悉了大數(shù)據(jù)分析及其各種功能，那么本博客大數(shù)據(jù)分析教程的下一部分將闡明大數(shù)據(jù)分析面臨的一些主要挑戰(zhàn)。
 

八、大數(shù)據(jù)分析挑戰(zhàn)
 

　　讓我告訴您一些大數(shù)據(jù)分析帶來的挑戰(zhàn)：
 

　　數(shù)據(jù)質(zhì)量 –這里的問題是第四個 V，即準確性。此處的數(shù)據(jù)非?；靵y，不一致且不完整。在美國，臟數(shù)據(jù)每年給培訓機構(gòu)造成的損失達6000億美元。
 

　　發(fā)現(xiàn) –在大數(shù)據(jù)分析上找到見解就像在大海撈針。使用極其強大的算法來分析PB級數(shù)據(jù)以查找模式和見解非常困難。
 

　　存儲 –組織擁有的數(shù)據(jù)越多，管理它的問題就越復雜。這里出現(xiàn)的問題是“在哪里存儲它?”。我們需要一個可以輕松按需擴展或縮小規(guī)模的存儲系統(tǒng)。
 

　　分析 –對于大數(shù)據(jù)分析，大多數(shù)時候我們都不知道我們要處理的數(shù)據(jù)類型，因此分析數(shù)據(jù)更加困難。
 

　　安全性 –由于數(shù)據(jù)量巨大，因此確保數(shù)據(jù)安全是另一個挑戰(zhàn)。它包括用戶身份驗證，基于用戶的訪問限制，記錄數(shù)據(jù)訪問歷史記錄，正確使用數(shù)據(jù)加密等。
 

　　人才匱乏–大型組織中有許多大數(shù)據(jù)分析項目，但是擁有足夠的領(lǐng)域知識的成熟的開發(fā)人員，數(shù)據(jù)科學家和分析師團隊仍然是一個挑戰(zhàn)。
 

　　Hadoop的救援
 

　　我們有一個應對大數(shù)據(jù)分析挑戰(zhàn)的救星– Hadoop。Hadoop是一個基于Java的開源編程框架，支持在分布式計算環(huán)境中存儲和處理超大型數(shù)據(jù)集。它是由Apache Software Foundation贊助的Apache項目的一部分。

　　Hadoop及其分布式處理比傳統(tǒng)的企業(yè)數(shù)據(jù)倉庫更有效地處理大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。Hadoop使在具有數(shù)千個通用硬件節(jié)點的系統(tǒng)上運行應用程序以及處理數(shù)千TB數(shù)據(jù)成為可能。組織之所以采用Hadoop，是因為Hadoop是一種開源軟件，可以在商用硬件(您的個人計算機)上運行。由于商品硬件非常便宜，因此最初的成本節(jié)省非?？捎^。隨著組織數(shù)據(jù)的增加，您需要即時添加越來越多的商品硬件來存儲它，因此，Hadoop被證明是經(jīng)濟的。此外，Hadoop背后還擁有一個強大的Apache社區(qū)，該社區(qū)將繼續(xù)為其發(fā)展做出貢獻。
 

　　如前所述，通過此大數(shù)據(jù)分析培訓課程，我為您提供了有關(guān)大數(shù)據(jù)分析的權(quán)威認識。大數(shù)據(jù)分析教程到此結(jié)束。之前我給大家分享過《Hadoop在大數(shù)據(jù)分析中的意義和作用》、《大數(shù)據(jù)分析與Hadoop區(qū)別和聯(lián)系》。
 

　　祝一切順利，Hadoop開發(fā)愉快!
 

　　現(xiàn)在您已經(jīng)全面認識了什么是大數(shù)據(jù)分析，請查看 AAA教育 的 大數(shù)據(jù)分析培訓課程，該培訓機構(gòu)是一家受信任的線上和線下學習培訓機構(gòu)，其網(wǎng)絡(luò)遍布全球，擁有250,000多名滿意的學習者。AAA教育大數(shù)據(jù)分析Hadoop認證培訓課程使用零售，社交媒體，航空，旅游，金融領(lǐng)域的實時用例，幫助學習者成為HDFS，Yarn，MapReduce，Pig，Hive，HBase，Oozie，F(xiàn)lume和Sqoop的專家。