關(guān)于大數(shù)據(jù)分析的四個(gè)環(huán)節(jié)

徐州和融時(shí)利信息咨詢有限公司，專注于大數(shù)據(jù)獲客，互聯(lián)網(wǎng)智能營銷、口碑營銷、為企業(yè)提供網(wǎng)絡(luò)營銷技術(shù)、產(chǎn)品和服務(wù)的創(chuàng)新與整合。包含網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣、流量監(jiān)控及分析三大領(lǐng)域，根據(jù)不同客戶的需求單獨(dú)提供口碑營銷、新聞營銷、論壇營銷等一系列的整合營銷推廣方案，為企業(yè)提供全網(wǎng)絡(luò)營銷服務(wù)，多方位為中小微企業(yè)營銷力賦能。

 大數(shù)據(jù)技術(shù)可以分為四個(gè)環(huán)節(jié)，數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)分析指標(biāo)，聯(lián)通大數(shù)據(jù)外呼 

1、想要真正做好數(shù)據(jù)分析，首先要把數(shù)據(jù)基礎(chǔ)建好，重點(diǎn)就是“全”和“細(xì)”。 比如不要只收集局部環(huán)境的數(shù)據(jù)比如幾家門店的客流量來分析它對(duì)店面營業(yè)的影響。

比如搜集數(shù)據(jù)時(shí)不能只通過 APP 或客戶端收集數(shù)據(jù)，服務(wù)器的數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)都要同時(shí)收集打通，收集全量數(shù)據(jù)，而非抽樣數(shù)據(jù)，同時(shí)還要記錄相關(guān)維度，否則分析業(yè)務(wù)時(shí)可能會(huì)發(fā)現(xiàn)歷史數(shù)據(jù)不夠，所以不要在意數(shù)據(jù)量過大，磁盤存儲(chǔ)的成本相比數(shù)據(jù)積累的價(jià)值，非常廉價(jià)。

同時(shí)，為了確保海量數(shù)據(jù)的真實(shí)性和準(zhǔn)確性，數(shù)據(jù)的取得來源、取得方式、取得的環(huán)境等信息就顯得異常的重要了。

海量數(shù)據(jù)來源，一般情況下主要有兩個(gè)路徑：①一種是在企業(yè)自有的服務(wù)器或者租賃的服務(wù)器里存儲(chǔ)，企業(yè)自己的業(yè)務(wù)會(huì)自動(dòng)生成業(yè)務(wù)數(shù)據(jù)存儲(chǔ)在服務(wù)器，企業(yè)都自己的數(shù)據(jù)負(fù)責(zé)，這種主要是游戲、軟件等互聯(lián)網(wǎng)研發(fā)生產(chǎn)企業(yè)。②另外一種就是企業(yè)的數(shù)據(jù)與其他公司一樣統(tǒng)一存儲(chǔ)在大的一個(gè)統(tǒng)一的平臺(tái)上，比如電商企業(yè)，可能有無數(shù)家企業(yè)的數(shù)據(jù)都會(huì)存儲(chǔ)在阿里巴巴或者京東的服務(wù)器上，企業(yè)需要向這些機(jī)構(gòu)取得跟自己企業(yè)相關(guān)的數(shù)據(jù)。

在實(shí)踐中，對(duì)于兩種數(shù)據(jù)來源的方式我們簡單分析下：①對(duì)于第一種數(shù)據(jù)來源方式，由于企業(yè)自動(dòng)生成并保管數(shù)據(jù)是很有可能會(huì)篡改數(shù)據(jù)甚至是虛構(gòu)數(shù)據(jù)的，在審計(jì)中，那就需要對(duì)企業(yè)數(shù)據(jù)生成、數(shù)據(jù)保管、數(shù)據(jù)轉(zhuǎn)移、數(shù)據(jù)修改等企業(yè)的IT環(huán)境和內(nèi)部控制措施進(jìn)行核查，目的就是要保證數(shù)據(jù)從生成到審計(jì)的整個(gè)過程中是否存在可能導(dǎo)致數(shù)據(jù)被修改的因素或者隱患。②對(duì)于第二種數(shù)據(jù)來源方式，我們可以假定統(tǒng)一大平臺(tái)的數(shù)據(jù)生成和管理措施是完善的，同時(shí)假定企業(yè)從大平臺(tái)取得數(shù)據(jù)的過程和方式是值得信賴的，那么我們可以初步認(rèn)定發(fā)行人的數(shù)據(jù)來源值得信任。當(dāng)然，數(shù)據(jù)是否存在合理性，是否準(zhǔn)確，是否有虛假的成分，那么就需要對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的分析。

同時(shí)我們也需要通過一些核查程序?qū)?shù)據(jù)情況進(jìn)行一個(gè)基本判斷。（1）內(nèi)控核查。如果一個(gè)企業(yè)的IT內(nèi)控缺失，那么會(huì)增加數(shù)據(jù)不完整或數(shù)據(jù)被篡改的風(fēng)險(xiǎn)；（2）應(yīng)用控制核查。主要關(guān)注算法邏輯和接口，例如取數(shù)邏輯、統(tǒng)計(jì)算法、接口調(diào)用等都會(huì)影響到數(shù)據(jù)完整性，應(yīng)用控制核查需根據(jù)企業(yè)實(shí)際的系統(tǒng)情況和數(shù)據(jù)情況制定具體審計(jì)策略。

數(shù)據(jù)源的清晰和質(zhì)量的保證對(duì)數(shù)據(jù)建模的影響巨大。

2、在進(jìn)行建模之前，首先要考慮的是使用哪些變量來建立模型，需要從業(yè)務(wù)邏輯和數(shù)據(jù)邏輯兩個(gè)方面來考慮：

業(yè)務(wù)邏輯：變量基于收集到的數(shù)據(jù)，而數(shù)據(jù)在收集時(shí)，會(huì)產(chǎn)生與業(yè)務(wù)層面相關(guān)的邏輯。

數(shù)據(jù)邏輯：通常從數(shù)據(jù)的完整性、集中度、是否與其他變量強(qiáng)相關(guān)（甚至有因果關(guān)系）等角度來考慮，比如某個(gè)變量在業(yè)務(wù)上很有價(jià)值，但缺失率達(dá)到90%，或者一個(gè)非布爾值變量卻集中于兩個(gè)值，那么這個(gè)時(shí)候我們就要考慮，加入這個(gè)變量是否對(duì)后續(xù)分析有價(jià)值。

在選擇變量時(shí)，業(yè)務(wù)邏輯應(yīng)該優(yōu)先于數(shù)據(jù)邏輯，因?yàn)闃I(yè)務(wù)邏輯是從實(shí)際情況中自然產(chǎn)生，而建模的結(jié)果也要反饋到實(shí)際中去，因此選擇變量時(shí)，業(yè)務(wù)邏輯重要程度相對(duì)更高。

3、數(shù)據(jù)分析有兩種主要的方式，一種是基于統(tǒng)計(jì)學(xué)的分析方式，另一種是基于機(jī)器學(xué)習(xí)的分析方式，不論哪種方式都需要研發(fā)人員具備扎實(shí)的數(shù)學(xué)基礎(chǔ)。    

基于機(jī)器學(xué)習(xí)的數(shù)據(jù)分析方式需要進(jìn)行大量的算法訓(xùn)練，算法訓(xùn)練需要大量的數(shù)據(jù)支撐，所以在云計(jì)算時(shí)代，機(jī)器學(xué)習(xí)隨著算力的增強(qiáng)以及數(shù)據(jù)量的提升，在實(shí)用性方面得到了較大的增強(qiáng)，尤其是深度學(xué)習(xí)領(lǐng)域的發(fā)展。

數(shù)據(jù)分析一定要結(jié)合實(shí)際的應(yīng)用場景，場景數(shù)據(jù)分析也是目前進(jìn)行大數(shù)據(jù)分析的主要方式，不同的應(yīng)用場景往往需要采用不同的數(shù)據(jù)分析方式，同時(shí)在數(shù)據(jù)維度的定義上也會(huì)有所變化。對(duì)于分析人員來說，要想提升大數(shù)據(jù)的落地應(yīng)用價(jià)值，一定要具備一定的行業(yè)知識(shí)。而數(shù)據(jù)指標(biāo)指的是通過對(duì)于數(shù)據(jù)進(jìn)行分析，可以給業(yè)務(wù)帶來價(jià)值和突破的指標(biāo)。數(shù)據(jù)指標(biāo)的類型來源于業(yè)務(wù)需求，業(yè)務(wù)需求常用下面的一句話來概述：誰，做了什么事，結(jié)果如何。通過上面的一句話，可以將數(shù)據(jù)指標(biāo)分為三大類：

用戶數(shù)據(jù)：用戶相關(guān)的數(shù)據(jù)，如DAU/MAU、新增用戶、留存率、渠道來源等。

行為數(shù)據(jù)：用戶使用產(chǎn)品產(chǎn)生的一些動(dòng)作相關(guān)的數(shù)據(jù)，如PV、UV、訪問深度、轉(zhuǎn)化率、訪問時(shí)長、彈出率等。

業(yè)務(wù)數(shù)據(jù)：實(shí)際產(chǎn)生的業(yè)務(wù)價(jià)值的數(shù)據(jù)，如 GMV、ARPU、ARPPU、付費(fèi)人數(shù)、付費(fèi)轉(zhuǎn)化率、付費(fèi)頻次、付費(fèi)轉(zhuǎn)化時(shí)間等。

通過數(shù)據(jù)可視化的展現(xiàn)以及用戶的畫像分析，為企業(yè)決策提供高價(jià)值的依據(jù)。

以上四個(gè)環(huán)節(jié)是環(huán)環(huán)相扣的環(huán)節(jié)，大數(shù)據(jù)技術(shù)要想有效地運(yùn)用，必須將這四個(gè)環(huán)節(jié)有效利用起來，使它為科技的發(fā)展和人類文明的進(jìn)步提供有力條件。