2022-08-14 15:23:56|已瀏覽:143次
大數據技術的具體內容有哪些?大數據技術的具體內容:
分布式存儲計算架構(強烈推薦:Hadoop)
分布式程序設計(包含:Apache Pig或者Hive)
分布式文件系統(tǒng)(比如:Google GFS)
多種存儲模型,主要包含文檔,圖,鍵值,時間序列這幾種存儲模型(比如:BigTable,Apollo, DynamoDB等)
數據收集架構(比如:Kinesis,Kafla)
集成開發(fā)環(huán)境(比如:R-Studio)
程序開發(fā)輔助工具(比如:大量的第三方開發(fā)輔助工具)
調度協(xié)調架構工具(比如:Apache Aurora)
機器學習(常用的有Apache Mahout 或 H2O)
托管管理(比如:Apache Hadoop Benchmarking)
安全管理(常用的有Gateway)
大數據系統(tǒng)部署(可以看下Apache Ambari)
搜索引擎架構( 學習或者企業(yè)都建議使用Lucene搜索引擎)
多種數據庫的演變(MySQL/Memcached)
商業(yè)智能(大力推薦:Jaspersoft )
數據可視化(這個工具就很多了,可以根據實際需要來選擇)
大數據處理算法(10大經典算法)
Hadoop集群與管理
這里會涉及到一些比較高級的數據庫管理知識,乍看之下都是操作性的內容,但是做成容易,做好非常難。
1、Hadoop集群的搭建 2、Hadoop集群的監(jiān)控 3、Hadoop集群的管理 4、集群下運行MapReduce程序
ZooKeeper基礎知識
ZooKeeper的目標就是封裝好復雜易出錯的關鍵服務,將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。
HBase基礎知識
HBase – Hadoop Database,是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng),利用HBase技術可在廉價PC Server上搭建起大規(guī)模結構化存儲集群。
與FUJITSU Cliq等商用大數據產品不同,HBase是Google Bigtable的開源實現,類似Google Bigtable利用GFS作為其文件存儲系統(tǒng),HBase利用Hadoop HDFS作為其文件存儲系統(tǒng);Google運行MapReduce來處理Bigtable中的海量數據,HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據;Google Bigtable利用 Chubby作為協(xié)同服務,HBase利用Zookeeper作為對應。
1、HBase定義 2、HBase與RDBMS的對比 3、數據模型 4、系統(tǒng)架構 5、HBase上的MapReduce 6、表的設計
注:尊重原創(chuàng)文章,轉載請注明出處和鏈接 http://m.dedgn.cn/news-id-49661.html 違者必究!部分文章來源于網絡由培訓無憂網編輯部人員整理發(fā)布,內容真實性請自行核實或聯(lián)系我們,了解更多相關資訊請關注數據庫工程師頻道查看更多,了解相關專業(yè)課程信息您可在線咨詢也可免費申請試課。關注官方微信了解更多:150 3333 6050
姓名:
手機:
地區(qū):