大數(shù)據(jù)應(yīng)該怎么學(xué)

大數(shù)據(jù)應(yīng)該怎么學(xué)？利用大數(shù)據(jù)進(jìn)行分析，大致是需要六個(gè)過(guò)程，提出問(wèn)題——問(wèn)題分析——數(shù)據(jù)準(zhǔn)備——數(shù)據(jù)分析——產(chǎn)生報(bào)告——提出方案，大數(shù)據(jù)分析，主要是圍繞這六個(gè)進(jìn)行開(kāi)展。以下是小編為你整理的大數(shù)據(jù)應(yīng)該怎么學(xué)

進(jìn)行大數(shù)據(jù)分析，雖說(shuō)各個(gè)行業(yè)都不一定相同，但是基本思路都是一樣的，分析的對(duì)象有：市場(chǎng)，用戶，渠道，效果，這幾大類，如果有條件還可以進(jìn)行分支拓展。

對(duì)市場(chǎng)/行業(yè)進(jìn)行大數(shù)據(jù)收集，分析：比如說(shuō)，數(shù)據(jù)收集的方向，可以從大方向以及小方向進(jìn)行，大的方向可以從政治，經(jīng)濟(jì)，社會(huì)，技術(shù)這幾個(gè)入手，小方向可以從產(chǎn)品分析。

對(duì)于用戶的調(diào)查，可以開(kāi)展用戶畫像，數(shù)據(jù)內(nèi)容包括：身份，行為，居住，交際圈等，往小了分，還有可以分為年齡，性別，學(xué)歷，消費(fèi)情況，興趣愛(ài)好，在哪些圈子等等....

對(duì)產(chǎn)品進(jìn)行數(shù)據(jù)分析，可以從人群——市場(chǎng)——渠道——產(chǎn)品，這四個(gè)輪回，通過(guò)人群，可以得到市場(chǎng)，通過(guò)渠道可以得到人群，通過(guò)人群又可以得到產(chǎn)品的使用情況。

要進(jìn)行大數(shù)據(jù)分析，光有上面還是不夠的，還需要進(jìn)行一個(gè)營(yíng)銷效果的分析，分析的方向，包括用戶的行為，渠道的流量變化，以及一個(gè)最終的成本收益，投資回報(bào)率等。

根據(jù)對(duì)營(yíng)銷效果的分析，從而可以分析出不同渠道的一個(gè)流量以及收益情況，從中就可以篩選出渠道的優(yōu)勢(shì)以及劣勢(shì)，再集中匯集跟分析報(bào)告，這樣就可以定出方案了。

何為用戶行為信息

簡(jiǎn)單地說(shuō)，就是用戶在網(wǎng)站上發(fā)生的所有行為，如搜索、瀏覽、打分、點(diǎn)評(píng)、加入購(gòu)物筐、取出購(gòu)物筐、加入期待列表、購(gòu)買、使用減價(jià)券和退貨等;甚至包括在第三方網(wǎng)站上的相關(guān)行為，如比價(jià)、看相關(guān)評(píng)測(cè)、參與討論、社交媒體上的交流、與好友互動(dòng)等。

對(duì)客戶進(jìn)行多維度地分析，以用戶的地域、性別、年齡等人文屬性建立分析維度，把所有的團(tuán)購(gòu)信息進(jìn)行篩選，這樣可以簡(jiǎn)單地把EDM的相關(guān)性大幅提高，起碼用戶收到的郵件是基本在住宅、工作場(chǎng)所附近，和自己的普通屬性相關(guān)的，可能有一些興趣的商品。

對(duì)客戶過(guò)去是否有點(diǎn)擊，是否有購(gòu)買，購(gòu)買的產(chǎn)品價(jià)值，購(gòu)買的頻率，最近一次什么時(shí)候購(gòu)買等屬性進(jìn)行量化，產(chǎn)生客戶價(jià)值的評(píng)分，把客戶分出價(jià)值的高低，對(duì)推薦的接受難易程度作出評(píng)估，依據(jù)這些評(píng)分來(lái)決定多頻繁對(duì)該客戶進(jìn)行EDM操作，以及推薦的商品的細(xì)類，以提高反饋率。

對(duì)購(gòu)買過(guò)商品客戶的購(gòu)買記錄，以及點(diǎn)擊過(guò)的商品記錄進(jìn)行分析，對(duì)團(tuán)購(gòu)的折扣比例，商品原價(jià)，折扣金額，團(tuán)購(gòu)時(shí)間長(zhǎng)短，能否退款，是否單人使用，風(fēng)格等等分別打分、統(tǒng)計(jì)、歸類，以對(duì)客戶的可能興趣點(diǎn)進(jìn)行“預(yù)測(cè)”，這是一個(gè)相對(duì)高級(jí)、相對(duì)復(fù)雜的過(guò)程，但是運(yùn)用得好的話會(huì)收到非常良好的效果。

考慮在所有推薦的商品旁邊增加一個(gè)“不喜歡”的按鈕，收集客戶不喜歡的東西對(duì)個(gè)性化推薦來(lái)說(shuō)具有幾乎和喜歡的商品一樣重要的價(jià)值，假設(shè)一個(gè)客戶告訴你他不喜歡一款49元的西餐廳的雙人午餐，可能比他點(diǎn)擊甚至購(gòu)買另外一個(gè)99元日餐雙人套餐給你透露的信息還要多。

因此無(wú)論從什么角度來(lái)說(shuō)，電子商務(wù)和團(tuán)購(gòu)都還有大量的優(yōu)化空間，我相信以大數(shù)據(jù)為核心的個(gè)性化營(yíng)銷則是幫助電商在這場(chǎng)紅海大戰(zhàn)中贏得戰(zhàn)役的利劍。

可視化分析

大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時(shí)還有普通用戶，但是他們二者對(duì)于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬�分析能夠直觀的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被讀者所接受，就如同看圖說(shuō)話一樣簡(jiǎn)單。

數(shù)據(jù)挖掘算法：大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家所公認(rèn)的各種 統(tǒng)計(jì)方法，才能深入數(shù)據(jù)內(nèi)部，挖掘出公道的價(jià)值，另外一個(gè)方面也是y因?yàn)橛羞@些數(shù)據(jù)挖掘的算法才能更快的處理大數(shù)據(jù)。

預(yù)測(cè)性分析能力：大數(shù)據(jù)分析最重要的應(yīng)用領(lǐng)域之一就是預(yù)測(cè)性分析，從大數(shù)據(jù)種挖掘出特點(diǎn)，通過(guò)科學(xué)的建立模型，之后便可以通過(guò)模型帶入新的數(shù)據(jù)，從而預(yù)測(cè)未來(lái)的數(shù)據(jù)。

語(yǔ)義引擎：大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可從用戶的檢索關(guān)鍵詞，標(biāo)簽關(guān)鍵詞或其他輸入語(yǔ)義，分析，判斷用戶需求。從而實(shí)現(xiàn)更好的用戶體驗(yàn)和廣告匹配。

數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理：大數(shù)據(jù)分析離不開(kāi)數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無(wú)論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠保證分析結(jié)果的真實(shí)和有價(jià)值。大數(shù)據(jù)分析的基礎(chǔ)就是以上5個(gè)方面。

硬盤故障預(yù)測(cè)

硬盤是服務(wù)器硬件故障率最高的一個(gè)部件，如果能提前預(yù)測(cè)到硬盤故障，對(duì)業(yè)務(wù)體驗(yàn)、完善備件管理都有莫大的收益。這也是基礎(chǔ)架構(gòu)運(yùn)營(yíng)在經(jīng)歷自動(dòng)化、流程化后，需要進(jìn)一步提升運(yùn)營(yíng)效率、降低運(yùn)營(yíng)成本的天然要求。

涉及硬盤的運(yùn)營(yíng)數(shù)據(jù)包括業(yè)務(wù)IO數(shù)據(jù)、硬盤內(nèi)部的SMART和硬盤運(yùn)行的環(huán)境變量數(shù)據(jù)(溫度和濕度)。目前，運(yùn)營(yíng)系統(tǒng)對(duì)IO數(shù)據(jù)是每小時(shí)采集一次，SMART數(shù)據(jù)每三小時(shí)采集一次，溫度和濕度每半小時(shí)采集一次，這些數(shù)據(jù)合計(jì)起來(lái)每天的記錄數(shù)上億條。

服務(wù)器利用率分析

是某業(yè)務(wù)某機(jī)型磁盤IO的利用率統(tǒng)計(jì)分析圖。分析過(guò)程如下：存儲(chǔ)類機(jī)型，看到一段時(shí)間統(tǒng)計(jì)出來(lái)的IO的利用率并不高，并且是寫少讀多的應(yīng)用，是否可以考慮使用IOPS相對(duì)不高的廉價(jià)硬盤?還是業(yè)務(wù)的架構(gòu)存在優(yōu)化的空間?

服務(wù)器利用率分析給運(yùn)營(yíng)帶來(lái)的好處在于：

1)結(jié)合業(yè)務(wù)模型，發(fā)現(xiàn)業(yè)務(wù)應(yīng)用服務(wù)器的短板，在發(fā)現(xiàn)并修復(fù)系統(tǒng)架構(gòu)缺陷的同時(shí)，提高整體利用率;

2)對(duì)機(jī)型選型的優(yōu)化，例如對(duì)于磁盤容量使用率不高的機(jī)型，在后續(xù)的機(jī)型定制中減少硬盤的數(shù)量。

故障率分析

服務(wù)器故障分析對(duì)服務(wù)器的各個(gè)部件的故障率都做了分析和監(jiān)控，包括生成月度故障率報(bào)表;

故障率異常的實(shí)時(shí)監(jiān)控和自動(dòng)告警;

分析外部條件與故障率的關(guān)系;

與OS的軟件告警信息聯(lián)動(dòng)起來(lái)，及時(shí)發(fā)現(xiàn)服務(wù)器的亞健康狀態(tài)。

是某服務(wù)器硬件最近幾周的故障率統(tǒng)計(jì)信息。按部件給出各個(gè)機(jī)型的故障率情況，及時(shí)發(fā)現(xiàn)批次性故障并給出告警

環(huán)境監(jiān)控

如果能把機(jī)房環(huán)境溫度有效的監(jiān)控起來(lái)，我們就能在發(fā)現(xiàn)異常時(shí)發(fā)出高溫告警，提前采取措施。對(duì)服務(wù)器入風(fēng)口溫度進(jìn)行采集和監(jiān)控是一個(gè)較為有效的方案。

顯示服務(wù)器入風(fēng)口溫度變化的異常情況，經(jīng)過(guò)數(shù)據(jù)的規(guī)整和誤差修正，產(chǎn)生了高溫告警。通過(guò)自動(dòng)化流程，及時(shí)知會(huì)到機(jī)房現(xiàn)場(chǎng)負(fù)責(zé)人。

      注：尊重原創(chuàng)文章,轉(zhuǎn)載請(qǐng)注明出處和鏈接 http://m.dedgn.cn/news-id-54363.html 違者必究！部分文章來(lái)源于網(wǎng)絡(luò)由培訓(xùn)無(wú)憂網(wǎng)編輯部人員整理發(fā)布,內(nèi)容真實(shí)性請(qǐng)自行核實(shí)或聯(lián)系我們，了解更多相關(guān)資訊請(qǐng)關(guān)注數(shù)據(jù)庫(kù)工程師頻道查看更多，了解相關(guān)專業(yè)課程信息您可在線咨詢也可免費(fèi)申請(qǐng)?jiān)囌n。關(guān)注官方微信了解更多：150 3333 6050