大數(shù)據(jù)主要學哪些內(nèi)容

大數(shù)據(jù)主要學哪些內(nèi)容？了解Hadoop就像是在打開大數(shù)據(jù)這扇門。首先它本身是一個分布式計算架構(gòu)，更重要的是它是一個可擴展的生態(tài)系統(tǒng)，像IBM，EMC，Amazon，微軟，甲骨文等大型IT公司都已經(jīng)有了基于Hadoop的商業(yè)化大數(shù)據(jù)產(chǎn)品。雖然現(xiàn)在還有比Hadoop更為先進的分布式架構(gòu)(Dremel，DataFlow等)，但也都是基于Hadoop的改進升級，因此也說Hadoop是大數(shù)據(jù)的基礎(chǔ)，基礎(chǔ)的穩(wěn)固決定了未來能走多遠!!以下是小編為你整理的大數(shù)據(jù)主要學哪些內(nèi)容

Hadoop是什么

Hadoop是一個大家族，是一個開源的生態(tài)系統(tǒng)，是一個分布式運行系統(tǒng)，是基于Java編程語言的架構(gòu)。不過它最高明的技術(shù)還是HDFS和MapReduce，使得它可以分布式處理海量數(shù)據(jù)。

HDFS(分布式文件系統(tǒng))：

它與現(xiàn)存的文件系統(tǒng)不同的特性有很多，比如高度容錯(即使中途出錯，也能繼續(xù)運行)，支持多媒體數(shù)據(jù)和流媒體數(shù)據(jù)訪問，高效率訪問大型數(shù)據(jù)集合，數(shù)據(jù)保持嚴謹一致，部署成本降低，部署效率提交等，如圖是HDFS的基礎(chǔ)架構(gòu)

MapReduce(并行計算架構(gòu))：

它可以將計算任務(wù)拆分成大量可以獨立運行的子任務(wù)，接著并行運算，另外會有一個系統(tǒng)調(diào)度的架構(gòu)負責收集和匯總每個子任務(wù)的分析結(jié)果。其中 包含映射算法與規(guī)約算法。

Cetas項目關(guān)注點

在線應(yīng)用分析：

及時乃至實時的決策提供了投資的成功可能性!隨著各式各樣應(yīng)用產(chǎn)生不規(guī)則的數(shù)據(jù)產(chǎn)生，這些數(shù)據(jù)到底想告訴你我什么呢?我們相信大數(shù)據(jù)將提供一個遠見，一個對客戶的洞察。那就沒有理由去懷疑，基于用戶的產(chǎn)品和服務(wù)會成功!Cetas提供了一個易于管理，自助服務(wù)的虛擬環(huán)境，支持企業(yè)自定義創(chuàng)建多種應(yīng)用。這里提供了多維度的行為分析和大量高級的分析算法。

IT運營分析：

除了提供在線應(yīng)用實時的高級分析之外，還能分析IT運營管理，提供企業(yè)的管理運營能力。這為企業(yè)提供了對企業(yè)IT運營效果的面面觀。

企業(yè)Hadoop分析：

為企業(yè)或個人提供可擴展，高性能的Hadoop自助分析平臺，也提供了可視化的數(shù)據(jù)發(fā)現(xiàn)功能，并且嵌入了大量先進的機器學習算法，這些都促進研究和深度挖掘大數(shù)據(jù)所隱藏的內(nèi)容。甚至如果你有建模的需要，這個平臺也能滿足你!!

從虛擬化的基礎(chǔ)上創(chuàng)建起的這三項服務(wù)，分別面向私人，公共，甚至是公私混合。從而Cetas使得大數(shù)據(jù)分析更加輕量化，這也是VMware公司收購Cetas之后加大投入的方向。

如今Cetas加入VMware的大家族，未來將被賦予更重要的角色和作用。這方面也讓我們拭目以待VMware這架虛擬化馬車駛出的大數(shù)據(jù)分析之路。

Hadoop起源

Hadoop有個背景，就是起源于Apache Lucene項目中的一個搜索引擎Nutch。Lucene目前是世界上最好，并且開源的搜索引擎框架和產(chǎn)品。Lucene本身就有非常多好的大數(shù)據(jù)經(jīng)驗和思路。這為Hadoop預(yù)備了巨大能量，使得Hadoop注定是一個偉大的產(chǎn)品。

Hadoop命名：

其實是一個孩子給棕黃色大象的命名。Hadoop圖標在本系列中也隨處可見。Google也是一個這樣的例子。這樣有一個很好的點就是想到Hadoop，就會想到大數(shù)據(jù)，而不會是其他。

Hadoop目標：

Hadoop的出現(xiàn)是為了解決搜索引擎無法接受數(shù)以億計單位的數(shù)據(jù)量的問題。借助Google分享的GFS和MapReduce成熟理論，Hadoop一躍而出，成功解決了海量數(shù)據(jù)存儲和搜索的架構(gòu)問題。未來Hadoop將支持更巨大的數(shù)據(jù)和更智能的數(shù)據(jù)管理。

Pig基礎(chǔ)知識

Pig是進行Hadoop計算的另一種框架，是一個高級過程語言，適合于使用 Hadoop 和 MapReduce 平臺來查詢大型半結(jié)構(gòu)化數(shù)據(jù)集。通過允許對分布式數(shù)據(jù)集進行類似 SQL 的查詢，Pig 可以簡化 Hadoop 的使用。

1、Pig概述 2、安裝Pig 3、使用Pig完成手機流量統(tǒng)計業(yè)務(wù)

Hive

hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。 其優(yōu)點是學習成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用。

1、數(shù)據(jù)倉庫基礎(chǔ)知識 2、Hive定義 3、Hive體系結(jié)構(gòu)簡介 4、Hive集群 5、客戶端簡介 6、HiveQL定義 7、HiveQL與SQL的比較 8、數(shù)據(jù)類型 9、表與表分區(qū)概念 10、表的操作與CLI客戶端 11、數(shù)據(jù)導(dǎo)入與CLI客戶端 12、查詢數(shù)據(jù)與CLI客戶端 13、數(shù)據(jù)的連接與CLI客戶端 14、用戶自定義函數(shù)(UDF)