大數(shù)據(jù)分析工作流程是什么

　　大數(shù)據(jù)分析工作流程是什么?高效的工作流應該做到這一點-流程化-將我們從項目的每個階段無縫地引導到下一個階段，優(yōu)化任務管理，并最終指導我們從業(yè)務問題到解決方案再到價值。隨著數(shù)據(jù)泛濫的持續(xù)減少，企業(yè)正在淹沒數(shù)據(jù)，但卻渴望獲得洞察力。這使得雇用大數(shù)據(jù)分析團隊至關重要。但是，由什么構成大數(shù)據(jù)分析團隊?大數(shù)據(jù)分析工作流程的最佳實踐是什么?大數(shù)據(jù)分析家需要什么才能最大程度地執(zhí)行大數(shù)據(jù)分析工作流程?

　　盡管沒有解決大數(shù)據(jù)分析問題的模板，但OSEMN(獲取，清理，探索，模型，解釋)大數(shù)據(jù)分析管道是一個很好的起點，該管道是大數(shù)據(jù)分析家Hilary Mason和Chris Wiggins在2010年引入的流行框架。大多數(shù)大數(shù)據(jù)分析工作流都是OSEMN步驟序列的變體，具有基于相同既定原理的基本流程，并且其共同目標是使組織的其他部門能夠做出更好的，由數(shù)據(jù)驅動的決策。大數(shù)據(jù)分析工作流的功能完全取決于手頭的業(yè)務目標和任務。
 

　　改善大數(shù)據(jù)分析工作流程中最重要的步驟是開發(fā)針對團隊特定需求的最佳實踐。為此，您需要考慮以下大數(shù)據(jù)分析工作流程最佳實踐。

　　‍

　　大數(shù)據(jù)分析作為一項團隊運動
 

　　大數(shù)據(jù)分析家最初的印象是一個人可以神奇地做所有事情。出于明顯的原因，這不是一個好主意。大數(shù)據(jù)分析涵蓋了廣泛的學科和角色，包括編程工程師，機器學習工程師，系統(tǒng)架構師，數(shù)據(jù)庫管理員，商業(yè)智能分析師，IT工程師等等。建筑大數(shù)據(jù)分析團隊應包括專門研究不同領域的人員。有效的團隊工作流程始于確定團隊所需的專業(yè)知識類型，并明確定義團隊中的角色。

　　如果要構建原型，則可能不需要系統(tǒng)架構師。如果您正在處理較小的項目，則可能不需要數(shù)據(jù)庫管理員。生產(chǎn)工程師將最適合面向客戶的服務。并且一些具有學術經(jīng)驗的團隊成員將主要進行不一定旨在產(chǎn)生產(chǎn)品銷售的研究。大數(shù)據(jù)分析團隊的各種角色取決于您的業(yè)務目標和任務。大數(shù)據(jù)分析家不是一個單人樂隊，并且經(jīng)常被高估。讓所有這些專家共同努力，朝著一個共同的目標邁進，比讓幾個人自己做一切都可以幫助您進一步發(fā)展。
 

　　識別業(yè)務問題
 

　　您在回答什么問題，業(yè)務目標是什么?大數(shù)據(jù)分析家工作效率的主要組成部分是將大問題分解為更小的部分，并真正專注于您要解決的業(yè)務成果的能力，而不是為了研究而進行研究。最終，大數(shù)據(jù)分析團隊的存在是為了改善業(yè)務流程，增加收入并降低成本。提出正確問題并實際解決實際業(yè)務問題的能力決定了您的成功。確定摘要為您希望團隊完成的工作設定了議程。誰是您的最終用戶?他們有什么問題?您優(yōu)先考慮的是準確性，速度或可解釋性?

　　‍

　　擁抱開源和云計算
 

　　得益于開源數(shù)據(jù)分析解決方案和云計算，與早期大數(shù)據(jù)分析工作流程相關的成本過高方面已得到有效消除。開源已經(jīng)發(fā)展成為大數(shù)據(jù)分析家的主要工具來源。就概念訪問而言，您無需構建自己的數(shù)據(jù)中心。如果要使用各種不同的工具，現(xiàn)在可以選擇進行測試并根據(jù)需要訂閱。云計算提供了大量可以按小時租用的硬件。
 

　　使用開放源代碼庫通常也沒有明確的成本，因為開放源代碼庫提供了令人難以置信的資源和靈活性。與專有軟件不同，可以修改開源項目以適合您的需求。在現(xiàn)有項目上進行構建無需再從頭開始，從而節(jié)省了大量時間和金錢。沒有任何實際許可成本的情況下，轉換成本也應更低。通過將開源與云計算相結合，您可以評估要使用的內容，創(chuàng)建原型，對其進行一段時間的測試，確定不起作用的內容，然后嘗試其他操作，而這些操作的成本都大大降低了。

　　‍

　　建立正確的大數(shù)據(jù)分析工作流工具包
 

　　大數(shù)據(jù)分析家的大部分時間都花在了解業(yè)務問題和傳達結果上。以清晰有效的方式記錄和傳達您的發(fā)現(xiàn)可能是科學過程中最具挑戰(zhàn)性的步驟之一。自動化此過程對于良好的大數(shù)據(jù)分析工作流程和您的理智至關重要。一些有用的大數(shù)據(jù)分析工作流程工具包括：
 

　　Jupyter的大數(shù)據(jù)分析工作流程
 

　　Jupyter Notebook是一個開放源碼的大數(shù)據(jù)分析前端，用于捕獲數(shù)據(jù)準備過程，由包含實時代碼，方程式，可視化效果和解釋性文本的筆記本組成。無論您使用的是筆記本電腦，服務器還是云提供商，Jupyter Notebook都可以正常工作。筆記本方面指的是您的代碼和結果位于同一窗口中的事實。作為交流和互動探索的一種方式，Jupyter Notebooks具有非常理想的接口屬性集，您可以在其中一次添加一點點代碼，查看結果，在數(shù)據(jù)源和結論上給自己寫相應的注釋，然后將這些文件發(fā)送給其他人。為了使這些筆記本能夠正常工作，您需要數(shù)據(jù)以及用于重現(xiàn)此數(shù)據(jù)的所有依賴項，而這正是docker容器的所在。
 

　　使用Docker容器的大數(shù)據(jù)分析工作流
 

　　借助Docker，您可以將所有代碼以及運行代碼所需的一切打包在標準化，隔離的軟件容器中，這些容器可以傳入并在任何環(huán)境中工作。　
　‍

　　使用RAPIDS的大數(shù)據(jù)分析工作流程
 

　　RAPIDS是在NVIDIA GPU平臺上部署的GPU加速的機器學習和數(shù)據(jù)分析庫的開源套件。對于需要解決大規(guī)模問題，需要毫秒級響應時間或執(zhí)行大量重復計算的團隊而言，RAPIDS是理想的選擇。
 

　　Amazon Web Services的大數(shù)據(jù)分析工作流
 

　　Amazon Web Services提供了一套非常適合于機器學習工作流程的大數(shù)據(jù)分析工具。通過啟用數(shù)據(jù)收集和轉換來協(xié)調和自動化機器學習任務的序列。使用Amazon Athena在AWS Glue中執(zhí)行查詢，聚合和準備數(shù)據(jù)，在Amazon SageMaker上執(zhí)行模型培訓，然后將模型部署到生產(chǎn)環(huán)境。大數(shù)據(jù)分析工作流可以在數(shù)據(jù)工程師和大數(shù)據(jù)分析家之間共享。
 

　　機器學習和網(wǎng)絡
 

　　機器學習和人工智能，通?？苫Q用于商業(yè)目的，是解決需要準確答案而不必要求可解釋答案的商業(yè)問題的理想選擇。例如，在乘車共享應用程序中，如果您只是想預測在城市的給定部分中將要有多少用戶，或者需要多少輛車，那么您不必在乎為什么- -您只想獲得最準確的數(shù)字。

　　本著開源的精神，用于自動化機器學習和深度學習工作流程的最佳資源是其他大數(shù)據(jù)分析家。與其他大數(shù)據(jù)分析家建立網(wǎng)絡，閱讀他們正在發(fā)布的內容，評估其他要素工程項目以及如何解決這些問題，查看其他人在做什么，嘗試對其進行改進和調整其技術要比依靠任何一個人都要有效得多。書籍，工具，博客文章(!)或個人，以改善您的機器學習工作流程。

　　‍

　　效率-不一定更好

　　試圖追趕最新事物可能會損害您的大數(shù)據(jù)分析工作流程效率。

　　‍

　　大多數(shù)大數(shù)據(jù)分析項目不需要先進的方法?；ㄌ鄷r間擔心最前沿的問題，而不是做一些眾所周知的事情(可能會為您帶來99%的結果)，可能會使您陷入無休止的研究周期，而沒有明確的解決方案。在大多數(shù)業(yè)務案例中，完成更多的工作要比追趕準確性的最后2%更好。

　　‍

　　重現(xiàn)性
 

　　可再現(xiàn)性是一個非常重要的問題，但也很難證明?？芍貜托缘目傮w目標是說：這是我使用的數(shù)據(jù)，這是我使用的代碼，如果您執(zhí)行相同的操作，您將獲得相同的正確答案。在大數(shù)據(jù)分析領域中，可重復性仍然存在重大挑戰(zhàn)。即使您可以對所編寫的代碼使用版本控制，也不必一定寫下所擁有的每個庫依賴關系，您使用的開源庫也可能會發(fā)生變化。在進行大規(guī)模數(shù)據(jù)分析時，進行版本控制也非常困難。缺少用于復制這些龐大數(shù)據(jù)集的基礎結構的結果導致了一個易于更改的單一副本。
 

　　最安全的做法是使用Git版本控制，記下您正在使用的所有軟件包，對所有代碼進行版本控制，至少，您可以遵循創(chuàng)建者的想法，并希望您可以擁有一份副本。數(shù)據(jù)集。

　　‍

　　Python和R?

　　大數(shù)據(jù)分析工作流的最佳語言是……這取決于。R和Python是高級語言，它們在大數(shù)據(jù)分析項目中均具有優(yōu)勢。用于R和Python的軟件包通常在較低的一層，其中以非?？焖俚恼Z言(例如C ++和Fortran)完成計算。差異往往在于應用程序。R更像是一種學術性的，基于研究的統(tǒng)計學家的語言，而Python更適合于科學研究，大數(shù)據(jù)分析，建筑應用程序和生產(chǎn)工程。Python對于大數(shù)據(jù)分析工作流可能是更可取的，因為通常認為Python速度更快，數(shù)據(jù)處理更好，并且本質上是面向對象的。R可能較難學習，但通常認為它適合進行臨時分析。R中的大數(shù)據(jù)分析工作流程和Python中的大數(shù)據(jù)分析工作流程都有優(yōu)點。

　　‍

　　大數(shù)據(jù)分析工作流程的OmniSci優(yōu)勢
 

　　OmniSci建立在GPU加速的基礎上，從一開始就瞄準其分析平臺的極高性能，而Immerse正是出于這種癡迷。Immerse為您提供的功能是，您可以查看比以往更大的數(shù)據(jù)并將其可視化，不僅可以在GPU上執(zhí)行計算，還可以渲染圖形。就您可以解決的問題規(guī)模而言，尤其是圍繞地理空間數(shù)據(jù)而言，OmniSci在那里具有優(yōu)勢，因為所有硬件都已充分利用其全部功能，無論是數(shù)學，圖片還是整個頻譜。
 

　　從數(shù)據(jù)中獲得洞察力的愿望沒有絲毫放緩的跡象。隨著對大數(shù)據(jù)分析家的需求以驚人的速度增長，支持您的大數(shù)據(jù)分析團隊和開發(fā)可靠的大數(shù)據(jù)分析工作流程的重要性也越來越重要。大數(shù)據(jù)分析是一門藝術，擁有一支裝備精良，充滿靈感的團隊，任何項目都可以轉化為有價值的，引人入勝的故事。