數(shù)據(jù)分析一般包括哪些內容？數(shù)據(jù)分析是一個比較大的框架，從字面上講，就是從數(shù)據(jù)中提取有用的規(guī)則或者背后的邏輯。作業(yè)數(shù)據(jù)分析的功能主要分為以下六個步驟：數(shù)據(jù)收集數(shù)據(jù)清理數(shù)據(jù)存儲指數(shù)計算統(tǒng)計分析和建模數(shù)據(jù)可

數(shù)據(jù)分析一般包括哪些內容？

數(shù)據(jù)分析是一個比較大的框架，從字面上講，就是從數(shù)據(jù)中提取有用的規(guī)則或者背后的邏輯。

作業(yè)數(shù)據(jù)分析的功能主要分為以下六個步驟：

數(shù)據(jù)收集

數(shù)據(jù)清理

數(shù)據(jù)存儲

指數(shù)計算

統(tǒng)計分析和建模

數(shù)據(jù)可視化

數(shù)據(jù)收集的第一步：在前期，我們的數(shù)據(jù)還沒有形成具體的體系的時候，或者我們的業(yè)務正在進行的時候，我們需要通過各種渠道獲取數(shù)據(jù)。數(shù)據(jù)采集方式多種多樣，包括程序自動采集數(shù)據(jù)(數(shù)據(jù)嵌入、網絡爬蟲、ERP或CRM系統(tǒng)自動生成等。)、人工統(tǒng)計(Excel統(tǒng)計)、第三方網站抽取(通過開放數(shù)據(jù)網站、API等下載。)等多種方法。方法的選擇遵循商業(yè)形式。

第二步：數(shù)據(jù)清洗：采集的數(shù)據(jù)是臟數(shù)據(jù)，需要進行清洗，即取其精華去其糟粕，這樣的數(shù)據(jù)才是我們可以正常使用的數(shù)據(jù)。在這一步中，正則表達式主要用于數(shù)據(jù)清理。采集的數(shù)據(jù)有多種格式，需要轉碼成特定的格式和代碼。

第三步：數(shù)據(jù)存儲：隨著現(xiàn)在的公司數(shù)據(jù)越來越大，互聯(lián)網時代已經從IT變成了DT。現(xiàn)在每個公司的業(yè)務數(shù)據(jù)都是幾何級增長，在存儲數(shù)據(jù)的時候肯定不能再用以前那個時代的紙筆記錄了。目前數(shù)據(jù)量小的公司一般使用Excel文件進行數(shù)據(jù)存儲。許多公司也使用數(shù)據(jù)庫產品進行數(shù)據(jù)存儲。市場上也有很多性能不錯的數(shù)據(jù)庫產品，如Oracle、MySQL、SqlServer等。現(xiàn)在針對大數(shù)據(jù)也有相應的蜂巢數(shù)據(jù)倉庫產品。這些產品非常容易使用，其中一些是開源產品。就我們公司而言，之前使用的Oracle和MySQL、SqlServer數(shù)據(jù)庫，因為業(yè)務線的調整，已經將數(shù)據(jù)從單一數(shù)據(jù)庫轉移到hive數(shù)據(jù)倉庫進行存儲，更方便技術、業(yè)務、分析師等角色應用和提取數(shù)據(jù)。

第四步：指標計算：在指標計算之前，數(shù)據(jù)分析師需要建立當前部門的KPI指標，對應業(yè)務部門對不同業(yè)務場景的業(yè)務數(shù)據(jù)好壞和規(guī)則的反饋。這一步復雜而持續(xù)，可能會貫穿整個數(shù)據(jù)分析生涯。什么是指標？指標是衡量目標的方法，如商品管理中常用的存貨周轉率、毛利率，運營中經常見到的路徑轉換，營銷中經常見到的ROI等。對應的指標反映了不同業(yè)務場景的好壞，隨著業(yè)務和企業(yè)階段的變化，指標會一直跟隨變化。

第五步：數(shù)據(jù)的統(tǒng)計分析和建模：這個環(huán)節(jié)是整個數(shù)據(jù)分析過程中最有趣的環(huán)節(jié)，沒有之一。與前一個環(huán)節(jié)相比，你將在這個環(huán)節(jié)面臨各種挑戰(zhàn)。什么假設檢驗，線性回歸，特征工程，貝葉斯等等。會被滿足。在這里你會看到各種數(shù)據(jù)背后的邏輯，以及數(shù)據(jù)產生的價值。并且在數(shù)據(jù)分析的過程中，你可能會遇到數(shù)據(jù)清洗的第二步，處理缺失值和異常值。

第六步：數(shù)據(jù)可視化：即數(shù)據(jù)呈現(xiàn)。步驟5中統(tǒng)計分析和建模的結果需要以圖表的形式顯示出來。俗話說，字不如表，表不如圖。Tableau、PowerBI、finebi、PPT等數(shù)據(jù)可視化產品在市場上應用廣泛。前三種主要是交互形式，即在線存儲的報告，而PPT主要是以報告的形式呈現(xiàn)。

目前的數(shù)據(jù)分析按照功能可以簡單的分為幾個方向：

業(yè)務數(shù)據(jù)分析師

數(shù)據(jù)挖掘工程師

大數(shù)據(jù)開發(fā)工程師

以上是目前招聘時長比較常見的職位，每個職位之前都不一樣。業(yè)務數(shù)據(jù)分析師主要面向業(yè)務，將數(shù)據(jù)應用于企業(yè)決策。主要工具有Python，R，Excel，SPSS，tableau，PowerBI等。數(shù)據(jù)挖掘工程師側重于技術方向，主要是反欺詐、垃圾郵件識別等數(shù)據(jù)應用。主要工具有Python，Java，C，C等。大數(shù)據(jù)開發(fā)工程師主要負責搭建數(shù)據(jù)平臺，使用hadoop、hive、spark、Python、Java、C、C等工具開發(fā)適合公司數(shù)據(jù)流的數(shù)據(jù)平臺。數(shù)據(jù)分析是目前為止比較新的崗位，所以大部分人都在不斷學習和提高。

以上我的一些拙見，如有不足，歡迎補充交流。