大數(shù)據(jù)分析在政府內(nèi)的運(yùn)用:智慧政務(wù)

　　2020疫情期間，中國政府也采用了大數(shù)據(jù)分析技術(shù)，決策分析疫情動態(tài)，幫助全國人民渡過難關(guān)。大數(shù)據(jù)時代，公務(wù)員們都得是“數(shù)據(jù)”高手!大數(shù)據(jù)分析在中國已經(jīng)是最熱門的職業(yè)，也是應(yīng)屆生們的首選職業(yè)之一。

　　大數(shù)據(jù)不僅僅是數(shù)據(jù)，更是一種技術(shù)。它不僅能挖掘數(shù)據(jù)的潛在價(jià)值，還能實(shí)現(xiàn)數(shù)據(jù)創(chuàng)新，實(shí)現(xiàn)海量數(shù)據(jù)的更多社會價(jià)值，可以從中發(fā)現(xiàn)一些影響經(jīng)濟(jì)社會發(fā)展的潛在影響因素，為政府部門管理市場經(jīng)濟(jì)做出科學(xué)決策提供了相應(yīng)的參考依據(jù)。
 

　　政府應(yīng)用大數(shù)據(jù)的必要性
 

　　在政府行政體制改革、公共服務(wù)領(lǐng)域和日常管理中，政府已把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源逐步加以發(fā)展和運(yùn)用，并充分落實(shí)創(chuàng)新發(fā)展的理念，加快政府職能的轉(zhuǎn)變，提升政府治理能力。2015年4月3日，國務(wù)院在政府信息公開工作要點(diǎn)中表示要積極推進(jìn)政府?dāng)?shù)據(jù)公開，把運(yùn)用大數(shù)據(jù)等現(xiàn)代信息技術(shù)作為促進(jìn)政府職能轉(zhuǎn)變，簡政放權(quán)、放管結(jié)合和優(yōu)化服務(wù)的有效手段。
 

　　大數(shù)據(jù)風(fēng)潮席卷全球，為什么人人都要學(xué)大數(shù)據(jù)分析?
 

　　1.為什么要學(xué)大數(shù)據(jù)分析
 

　　大數(shù)據(jù)號稱新時代的石油，很多行業(yè)都開始用數(shù)據(jù)驅(qū)動業(yè)務(wù)，通過對數(shù)據(jù)的分析和挖掘，從單純的數(shù)據(jù)報(bào)表，到建模分析，深入挖掘，來幫助業(yè)務(wù)部分來系統(tǒng)的思考問題。
 

　　同時，大數(shù)據(jù)分析也相對容易一些，比較好上手。
 

　　Python的應(yīng)用的領(lǐng)域可以分為爬蟲、web開發(fā)、大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等方向。和機(jī)器學(xué)習(xí)相比，大數(shù)據(jù)分析偏業(yè)務(wù)，機(jī)器學(xué)習(xí)偏工程，大數(shù)據(jù)分析入門對數(shù)學(xué)功底和算法基礎(chǔ)的要求并不是特別高。
 

　　2.為什么選Python做大數(shù)據(jù)分析
 

　　可以來做大數(shù)據(jù)分析的語言和工具比較多，為什么偏偏選Python?
 

　　拿常見的R語言和Excel來說：
 

　　R語言其實(shí)是為統(tǒng)計(jì)學(xué)而生的語言，用來做統(tǒng)計(jì)學(xué)確實(shí)非常厲害。
 

　　但是R語言在語法的美觀和使用的簡潔便利上看，要比Python差很多，小函數(shù)一堆，而且語法不好理解，沒有Python這么容易上手和通熟易懂。
 

　　而 Excel只能做一些簡單的處理邏輯處理，適合小規(guī)模的數(shù)據(jù)集，或者簡單的數(shù)據(jù)清洗，對于復(fù)雜的邏輯處理，數(shù)據(jù)清洗，還是用Python來的方便。
 

　　3.大數(shù)據(jù)分析崗位職業(yè)發(fā)展路徑
 

　　在數(shù)據(jù)科學(xué)領(lǐng)域，有三個不同的角色，分別是：商業(yè)分析師，數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家，難度依次遞增。
 

　　1.商業(yè)分析師
 

　　商業(yè)分析師的工作主要圍繞報(bào)表和指標(biāo)這兩塊兒，包括：

　　1).定義關(guān)鍵績效指標(biāo)

　　2).設(shè)計(jì)和實(shí)現(xiàn)報(bào)表

　　3).從用戶那里收集報(bào)表需求

　　4).與數(shù)據(jù)工程師對接確保數(shù)據(jù)被正確地收集和存儲

　　5).查詢數(shù)據(jù)(一般是聚合過的)
 

　　2.數(shù)據(jù)工程師
 

　　數(shù)據(jù)工程師的工作主要圍繞架構(gòu)和收集這兩塊兒，包括：

　　1).通過寫數(shù)據(jù)傳輸包、設(shè)計(jì)聚合過程、優(yōu)化存儲，來構(gòu)建和維護(hù)數(shù)據(jù)傳輸和存儲的基礎(chǔ)設(shè)施

　　2).將生產(chǎn)環(huán)境產(chǎn)生的原始數(shù)據(jù)，轉(zhuǎn)換為商業(yè)分析師可以用來制作報(bào)表的格式化的數(shù)據(jù)
 

　　3.數(shù)據(jù)科學(xué)家
 

　　數(shù)據(jù)科學(xué)家的工作主要圍繞預(yù)測和優(yōu)化這兩塊兒，包括：

　　1).負(fù)責(zé)構(gòu)建預(yù)測算法，以提升用戶體驗(yàn)，最終增加參與度、留存率、收益

　　2).負(fù)責(zé)數(shù)據(jù)驅(qū)動的產(chǎn)品的改進(jìn)和建議

　　這其實(shí)是一個金字塔，商業(yè)分析師位于金字塔的最底層，數(shù)據(jù)科學(xué)家位于金字塔的最頂層。
 

　　4.大數(shù)據(jù)分析師的薪資如何
 

　　招聘網(wǎng)上大數(shù)據(jù)分析師基本上在1-2年經(jīng)驗(yàn)的平均年薪在20萬左右。

　　再看一下大數(shù)據(jù)分析師的崗位主要需求城市：

　　主要是在北上廣深和杭州 5個大的城市，其中北京的需求最多，幾乎是第2/3/4位的總和。
 

　　5.大數(shù)據(jù)分析需求技能
 

　　大數(shù)據(jù)分析的內(nèi)容多，而且比較全面，比如我們前面寫了很多關(guān)于房地產(chǎn)，拉勾照片，旅游網(wǎng)站的數(shù)據(jù)，一般來說大數(shù)據(jù)分析分下面幾個過程：
 

　　第一步：數(shù)據(jù)的爬取
 

　　大數(shù)據(jù)分析過程非常像我們平時做飯，第一步要先買菜，如何獲取數(shù)據(jù)呢，很多時候我們需要爬取數(shù)據(jù)，爬蟲涉及的知識比較多：
 

　　比如常見的http原理，爬蟲的基本解析庫reuqests，網(wǎng)頁解析庫BS,Pyquery,掌握一些分布式爬蟲的框架，當(dāng)然還有一些反爬蟲的策略。當(dāng)然如果我們能有現(xiàn)成的數(shù)據(jù)集會方便很多。
 

　　第二步：數(shù)據(jù)格式的處理和清洗
 

　　買好了菜，接著我們需要洗菜，也就是數(shù)據(jù)清洗!常見的數(shù)據(jù)集都是csv和json格式，需要熟練的掌握著兩種格式的。Python中大數(shù)據(jù)分析的神兵利器是Pandas,這個庫非常好用，功能也是非常強(qiáng)大的?？梢詫?shù)據(jù)進(jìn)行各種花色的清洗和切割，幾乎所有用Python玩大數(shù)據(jù)分析，必須學(xué)會pandas庫的用法。
 

　　第三步：數(shù)據(jù)的存儲
 

　　清洗完成之后數(shù)據(jù)需要存儲起來，一般用的比較多的 SQL 和 MongoDB。幾乎所有的大數(shù)據(jù)分析師招聘都會面試SQL的用法，所以掌握一門數(shù)據(jù)的使用是非常有必要的!基本的增刪改查這樣入門級的操作，一定要熟練掌握。
 

　　第四步：數(shù)據(jù)的探索
 

　　我拿到一個數(shù)據(jù)集之后，需要對數(shù)據(jù)進(jìn)行探索，分析數(shù)據(jù)之間的關(guān)系，每個特征值，每個變量的之間相關(guān)性和相互的影響，比如常見的EDA 探索大數(shù)據(jù)分析法。
 

　　單變量，雙變量和多變量的探索，可以從很多角度，對數(shù)據(jù)進(jìn)行切片分析，非常數(shù)據(jù)集中的變量之間的關(guān)系，找出相關(guān)性比較強(qiáng)的數(shù)據(jù)。
 

　　如果需要對數(shù)據(jù)進(jìn)行深入的挖掘，需要了解機(jī)器學(xué)習(xí)的相關(guān)算法，大體分監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，比如回歸問題，分類問題。這部分對數(shù)據(jù)集進(jìn)行深入挖掘之后，可以找出數(shù)據(jù)間的規(guī)律，訓(xùn)練好的之后，可以預(yù)測數(shù)據(jù)，很是牛逼。
 

　　第五步：數(shù)據(jù)的可視化
 

　　展現(xiàn)數(shù)據(jù)最好的方法就是數(shù)據(jù)可視化，數(shù)據(jù)的可視化有很大的庫，比如 echart，matplotlib，d3 和 Tableau，當(dāng)然還有excel，一般大數(shù)據(jù)分析師必須要掌握exce或者Tableau。尤其是Tableau現(xiàn)在越來越多的公司用它來做可視化分析，有一個有趣的必然，同樣一個庫用R語言需要30分鐘才能完成，Tableau只需要5分鐘。
 

　　互聯(lián)網(wǎng)大數(shù)據(jù)時代的到來，已成為人類不可阻擋的趨勢。當(dāng)下，互聯(lián)網(wǎng)大數(shù)據(jù)正悄悄包圍著我們，不僅給人們帶來便利和機(jī)遇，而且也日益影響著經(jīng)濟(jì)社會發(fā)展和政府的治理。它猶如一座“富礦”，蘊(yùn)藏著巨大的價(jià)值。
 

　　1 推動簡政放權(quán)

　　行政管理需要實(shí)現(xiàn)現(xiàn)代化、科學(xué)化、智能化，推進(jìn)行政體制改革、深化簡政放權(quán)就需要建設(shè)政務(wù)大數(shù)據(jù)以推進(jìn)信息，實(shí)現(xiàn)數(shù)據(jù)共享。
 

　　2 促進(jìn)放管結(jié)合

　　在推動簡政放權(quán)的基礎(chǔ)上，還要促進(jìn)放管結(jié)合。面對海量的信息市場，政府管理部門可以有效利用大數(shù)據(jù)的資源建立專屬信息平臺，在推動整合數(shù)據(jù)資源，部門間數(shù)據(jù)共享的同時，通過大數(shù)據(jù)強(qiáng)化監(jiān)管，實(shí)現(xiàn)放與管的結(jié)合。
 

　　3 實(shí)現(xiàn)優(yōu)化服務(wù)

　　將推動簡政放權(quán)、放管結(jié)合和優(yōu)化服務(wù)結(jié)合起來，加快政府的服務(wù)型建設(shè)，也是大數(shù)據(jù)作為促進(jìn)政府職能轉(zhuǎn)變的有效手段。
 

　　政府傳統(tǒng)的決策過程是“發(fā)現(xiàn)問題—分析問題—解決問題”，這種決策方式可以一定程度地解決部分問題，但也較容易出現(xiàn)決策失誤從而導(dǎo)致的勞民傷財(cái)。于是，在大數(shù)據(jù)的背景之下，新型的決策方式應(yīng)該轉(zhuǎn)變?yōu)?ldquo;搜集數(shù)據(jù)—量化分析—找出相互關(guān)系—提出優(yōu)化解決方案”，并根據(jù)大數(shù)據(jù)實(shí)時跟蹤決策的實(shí)施過程，在決策實(shí)施中根據(jù)環(huán)境變化和及時的信息反饋而相應(yīng)的做出改變，提供更優(yōu)質(zhì)的、更切實(shí)際的高效率的政府服務(wù)。
 

　　大數(shù)據(jù)時代，政府部門的各項(xiàng)決策都不再僅憑過往經(jīng)驗(yàn)，而是更多地以數(shù)據(jù)分析輔助做出決定。大數(shù)據(jù)能有效提高信息的及時性、全面性和準(zhǔn)確性，政府部門將其應(yīng)用于監(jiān)管企業(yè)信用風(fēng)險(xiǎn)、服務(wù)創(chuàng)新創(chuàng)業(yè)等領(lǐng)域，可支撐政策議題謀劃塑造和事中事后監(jiān)管能力的提升。政府部門的日常工作離不開數(shù)據(jù)，政府開放數(shù)據(jù)形成的生態(tài)圈，也將有利推動政府的發(fā)展。