關(guān)于大數據分析的四個(gè)環(huán)節

徐州和融時(shí)利信息咨詢(xún)有限公司，專(zhuān)注于大數據獲客，互聯(lián)網(wǎng)智能營(yíng)銷(xiāo)、口碑營(yíng)銷(xiāo)、為企業(yè)提供網(wǎng)絡(luò )營(yíng)銷(xiāo)技術(shù)、產(chǎn)品和服務(wù)的創(chuàng )新與整合。包含網(wǎng)站建設、網(wǎng)絡(luò )推廣、流量監控及分析三大領(lǐng)域，根據不同客戶(hù)的需求單獨提供口碑營(yíng)銷(xiāo)、新聞營(yíng)銷(xiāo)、論壇營(yíng)銷(xiāo)等一系列的整合營(yíng)銷(xiāo)推廣方案，為企業(yè)提供全網(wǎng)絡(luò )營(yíng)銷(xiāo)服務(wù)，多方位為中小微企業(yè)營(yíng)銷(xiāo)力賦能。

 大數據技術(shù)可以分為四個(gè)環(huán)節，數據采集、數據建模、數據分析指標，聯(lián)通大數據外呼 

1、想要真正做好數據分析，首先要把數據基礎建好，重點(diǎn)就是“全”和“細”。 比如不要只收集局部環(huán)境的數據比如幾家門(mén)店的客流量來(lái)分析它對店面營(yíng)業(yè)的影響。

比如搜集數據時(shí)不能只通過(guò) APP 或客戶(hù)端收集數據，服務(wù)器的數據、數據庫數據都要同時(shí)收集打通，收集全量數據，而非抽樣數據，同時(shí)還要記錄相關(guān)維度，否則分析業(yè)務(wù)時(shí)可能會(huì )發(fā)現歷史數據不夠，所以不要在意數據量過(guò)大，磁盤(pán)存儲的成本相比數據積累的價(jià)值，非常廉價(jià)。

同時(shí)，為了確保海量數據的真實(shí)性和準確性，數據的取得來(lái)源、取得方式、取得的環(huán)境等信息就顯得異常的重要了。

海量數據來(lái)源，一般情況下主要有兩個(gè)路徑：①一種是在企業(yè)自有的服務(wù)器或者租賃的服務(wù)器里存儲，企業(yè)自己的業(yè)務(wù)會(huì )自動(dòng)生成業(yè)務(wù)數據存儲在服務(wù)器，企業(yè)都自己的數據負責，這種主要是游戲、軟件等互聯(lián)網(wǎng)研發(fā)生產(chǎn)企業(yè)。②另外一種就是企業(yè)的數據與其他公司一樣統一存儲在大的一個(gè)統一的平臺上，比如電商企業(yè)，可能有無(wú)數家企業(yè)的數據都會(huì )存儲在阿里巴巴或者京東的服務(wù)器上，企業(yè)需要向這些機構取得跟自己企業(yè)相關(guān)的數據。

在實(shí)踐中，對于兩種數據來(lái)源的方式我們簡(jiǎn)單分析下：①對于第一種數據來(lái)源方式，由于企業(yè)自動(dòng)生成并保管數據是很有可能會(huì )篡改數據甚至是虛構數據的，在審計中，那就需要對企業(yè)數據生成、數據保管、數據轉移、數據修改等企業(yè)的IT環(huán)境和內部控制措施進(jìn)行核查，目的就是要保證數據從生成到審計的整個(gè)過(guò)程中是否存在可能導致數據被修改的因素或者隱患。②對于第二種數據來(lái)源方式，我們可以假定統一大平臺的數據生成和管理措施是完善的，同時(shí)假定企業(yè)從大平臺取得數據的過(guò)程和方式是值得信賴(lài)的，那么我們可以初步認定發(fā)行人的數據來(lái)源值得信任。當然，數據是否存在合理性，是否準確，是否有虛假的成分，那么就需要對數據進(jìn)行進(jìn)一步的分析。

同時(shí)我們也需要通過(guò)一些核查程序對數據情況進(jìn)行一個(gè)基本判斷。（1）內控核查。如果一個(gè)企業(yè)的IT內控缺失，那么會(huì )增加數據不完整或數據被篡改的風(fēng)險；（2）應用控制核查。主要關(guān)注算法邏輯和接口，例如取數邏輯、統計算法、接口調用等都會(huì )影響到數據完整性，應用控制核查需根據企業(yè)實(shí)際的系統情況和數據情況制定具體審計策略。

數據源的清晰和質(zhì)量的保證對數據建模的影響巨大。

2、在進(jìn)行建模之前，首先要考慮的是使用哪些變量來(lái)建立模型，需要從業(yè)務(wù)邏輯和數據邏輯兩個(gè)方面來(lái)考慮：

業(yè)務(wù)邏輯：變量基于收集到的數據，而數據在收集時(shí)，會(huì )產(chǎn)生與業(yè)務(wù)層面相關(guān)的邏輯。

數據邏輯：通常從數據的完整性、集中度、是否與其他變量強相關(guān)（甚至有因果關(guān)系）等角度來(lái)考慮，比如某個(gè)變量在業(yè)務(wù)上很有價(jià)值，但缺失率達到90%，或者一個(gè)非布爾值變量卻集中于兩個(gè)值，那么這個(gè)時(shí)候我們就要考慮，加入這個(gè)變量是否對后續分析有價(jià)值。

在選擇變量時(shí)，業(yè)務(wù)邏輯應該優(yōu)先于數據邏輯，因為業(yè)務(wù)邏輯是從實(shí)際情況中自然產(chǎn)生，而建模的結果也要反饋到實(shí)際中去，因此選擇變量時(shí)，業(yè)務(wù)邏輯重要程度相對更高。

3、數據分析有兩種主要的方式，一種是基于統計學(xué)的分析方式，另一種是基于機器學(xué)習的分析方式，不論哪種方式都需要研發(fā)人員具備扎實(shí)的數學(xué)基礎。    

基于機器學(xué)習的數據分析方式需要進(jìn)行大量的算法訓練，算法訓練需要大量的數據支撐，所以在云計算時(shí)代，機器學(xué)習隨著(zhù)算力的增強以及數據量的提升，在實(shí)用性方面得到了較大的增強，尤其是深度學(xué)習領(lǐng)域的發(fā)展。

數據分析一定要結合實(shí)際的應用場(chǎng)景，場(chǎng)景數據分析也是目前進(jìn)行大數據分析的主要方式，不同的應用場(chǎng)景往往需要采用不同的數據分析方式，同時(shí)在數據維度的定義上也會(huì )有所變化。對于分析人員來(lái)說(shuō)，要想提升大數據的落地應用價(jià)值，一定要具備一定的行業(yè)知識。而數據指標指的是通過(guò)對于數據進(jìn)行分析，可以給業(yè)務(wù)帶來(lái)價(jià)值和突破的指標。數據指標的類(lèi)型來(lái)源于業(yè)務(wù)需求，業(yè)務(wù)需求常用下面的一句話(huà)來(lái)概述：誰(shuí)，做了什么事，結果如何。通過(guò)上面的一句話(huà)，可以將數據指標分為三大類(lèi)：

用戶(hù)數據：用戶(hù)相關(guān)的數據，如DAU/MAU、新增用戶(hù)、留存率、渠道來(lái)源等。

行為數據：用戶(hù)使用產(chǎn)品產(chǎn)生的一些動(dòng)作相關(guān)的數據，如PV、UV、訪(fǎng)問(wèn)深度、轉化率、訪(fǎng)問(wèn)時(shí)長(cháng)、彈出率等。

業(yè)務(wù)數據：實(shí)際產(chǎn)生的業(yè)務(wù)價(jià)值的數據，如 GMV、ARPU、ARPPU、付費人數、付費轉化率、付費頻次、付費轉化時(shí)間等。

通過(guò)數據可視化的展現以及用戶(hù)的畫(huà)像分析，為企業(yè)決策提供高價(jià)值的依據。

以上四個(gè)環(huán)節是環(huán)環(huán)相扣的環(huán)節，大數據技術(shù)要想有效地運用，必須將這四個(gè)環(huán)節有效利用起來(lái)，使它為科技的發(fā)展和人類(lèi)文明的進(jìn)步提供有力條件。