01

課程介紹

大數(shù)據(jù)的核心是數(shù)據(jù)的價(jià)值化，整個(gè)大數(shù)據(jù)技術(shù)體系緊緊圍繞數(shù)據(jù)展開(kāi)。大數(shù)據(jù)的產(chǎn)業(yè)鏈包括數(shù)據(jù)的采集、存儲(chǔ)、安全、分析和應(yīng)用，其中大數(shù)據(jù)分析是大數(shù)據(jù)價(jià)值化的重要手段。
全球每年將新增數(shù)十萬(wàn)個(gè)大數(shù)據(jù)相關(guān)的工作崗位、在2019年清華大學(xué)計(jì)算機(jī)系教授武永衛(wèi)曾言：“中 國(guó)當(dāng)下數(shù)據(jù)人才約有30萬(wàn)，未來(lái)3-5年人才需求量將達(dá)到180萬(wàn)。
大數(shù)據(jù)課程包含了云計(jì)算和人工智能開(kāi)發(fā)課程讓你所學(xué)知識(shí)更成體系更加實(shí)用，更能為企業(yè)所青睞。

02

大數(shù)據(jù)主流技術(shù)

大數(shù)據(jù)主流技術(shù)-數(shù)據(jù)采集
使用Flume，可進(jìn)行流式日志數(shù)據(jù)的收集。使用Sqoop可以交互關(guān)系型數(shù)據(jù)庫(kù)，進(jìn)行導(dǎo)入導(dǎo)出數(shù)據(jù)。使用爬蟲(chóng)技術(shù)，可在網(wǎng)上爬取。
大數(shù)據(jù)主流技術(shù)-數(shù)據(jù)存儲(chǔ)與管理
大數(shù)據(jù)利用分布式文件系統(tǒng)HDFS、HBase、Hive，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和管理。
大數(shù)據(jù)主流技術(shù)-數(shù)據(jù)處理與分析
利用分布式并行編程模型和計(jì)算框架，結(jié)合機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和分析。

03

課程定位與培養(yǎng)目標(biāo)

我們是騰訊云認(rèn)證服務(wù)一級(jí)運(yùn)營(yíng)商，百度、華為合作伙伴。以百度人工智能、華為大數(shù)據(jù)為基礎(chǔ)，騰訊云、百度云、亞馬遜云、5G技術(shù)為支撐，打造大數(shù)據(jù)+人工智能專(zhuān)精課程。通過(guò)6個(gè)月精細(xì)化學(xué)習(xí)和一線(xiàn)ICT企業(yè)原廠(chǎng)項(xiàng)目綜合實(shí)戰(zhàn)，培養(yǎng)出符合國(guó) 家信息產(chǎn)業(yè)、信息技術(shù)發(fā)展需要的高端大數(shù)據(jù)人工智能工程師。學(xué)習(xí)完畢具備大數(shù)據(jù)采集、存儲(chǔ)、清洗、分析、綜合治理的能力，掌握人工智能的核心技術(shù)機(jī)器學(xué)習(xí)，相當(dāng)于2年以上的工作經(jīng)驗(yàn)。

04

課程模式

貼心的教學(xué)模式
拒絕雙元教學(xué)，全程面授；拒絕大班授課，小班制教學(xué)，每班<=25人；拒絕“放羊式“管理，完善學(xué)習(xí)管理體系
專(zhuān)業(yè)的課程內(nèi)容
120天“純大數(shù)據(jù)”課程，直擊大數(shù)據(jù)工程師崗位核心需求；實(shí)戰(zhàn)項(xiàng)目貫穿，涵蓋金融，電商，交通，安平等各個(gè)領(lǐng)域。

05

課程內(nèi)容

第 一階段課程：大數(shù)據(jù)開(kāi)發(fā)語(yǔ)言基礎(chǔ)
主要內(nèi)容：基本程序邏輯、面向?qū)ο笊钊搿�異常處理機(jī)制、常用類(lèi)、集 合&泛型、多線(xiàn)程、MySQL基礎(chǔ)、遠(yuǎn)程倉(cāng)庫(kù)、DDL/DCL/DML/DQL、SQL優(yōu)化、批量處理事務(wù)DBUtil、Git管理文件版本、pom.xml詳解。
核心能力培養(yǎng)：掌握J(rèn)ava核心技術(shù)、掌握MySQL數(shù)據(jù)庫(kù)、掌握利用JDBC操作數(shù)據(jù)庫(kù)。
第二階段課程：離線(xiàn)場(chǎng)景下的數(shù)據(jù)存儲(chǔ)和計(jì)算
主要內(nèi)容：企業(yè)常用Linux命令、awk,sed,seq,xargs進(jìn)階命令、HDFS分布式文件系統(tǒng)、MapReduce并行計(jì)算、Yarn資源分配、Hive數(shù)據(jù)倉(cāng)庫(kù)、Flume日志實(shí)時(shí)采集、Sqoop數(shù)據(jù)導(dǎo)入導(dǎo)出工具。
核心能力培養(yǎng)：掌握Hadoop生態(tài)技術(shù)棧：HDFS，MapReduce，Yarn，Zookeeper，Hive，F(xiàn)lume,Sqoop等，掌握ETL技術(shù):Kylin、kettle等、BI工具:Superset、Echarts。項(xiàng)目實(shí)戰(zhàn)：企業(yè)級(jí)電商大數(shù)據(jù)分析系統(tǒng)之離線(xiàn)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目、客快物流大數(shù)據(jù)項(xiàng)目。
第三階段課程：數(shù)倉(cāng)建設(shè)和實(shí)時(shí)檢索
主要內(nèi)容：Redis概述、Redis事務(wù)、Jedis和Spring整合、Hbase整體架構(gòu)、API的使用方式、數(shù)據(jù)結(jié)構(gòu)檢索與搜索原理、search搜索相關(guān)算法、kafka安裝和使用、kafka運(yùn)行流程和文件存儲(chǔ)、分區(qū)原則、消息可靠性。
核心能力培養(yǎng)：掌握No SQL數(shù)據(jù)庫(kù):Redis，HBase，掌握數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)和建設(shè)，掌握實(shí)時(shí)檢索Elastic Search技術(shù)。
項(xiàng)目實(shí)戰(zhàn)：車(chē)聯(lián)網(wǎng)實(shí)時(shí)檢索項(xiàng)目
第四階段課程：Scala編程&Spark分布式計(jì)算框架
主要內(nèi)容：Scala概述、Scala程序邏輯、Scala面向?qū)ο缶幊獭㈦[式轉(zhuǎn)換、Scala集 合、函數(shù)式編程、單向環(huán)形鏈表、約瑟夫問(wèn)題、Spark概述、Spark安裝和使用、RDD&算子、Spark SQL、DataSet DataFrame、SparkStreaming、Spark調(diào)優(yōu)。
核心能力培養(yǎng)：掌握Scala語(yǔ)言和算法，掌握Spark分布式計(jì)算框架。
項(xiàng)目實(shí)戰(zhàn)：萬(wàn)網(wǎng)信號(hào)大數(shù)據(jù)項(xiàng)目、智能車(chē)流量監(jiān)控平臺(tái)項(xiàng)目。
第五階段課程：實(shí)時(shí)計(jì)算與數(shù)據(jù)挖掘
主要內(nèi)容：Spark MLlib算法、Spark MLlib統(tǒng)計(jì)分析、Spark MLlib分類(lèi)和回歸、Spark MLlib聚類(lèi)和降維、Spark MLlib關(guān)聯(lián)規(guī)則與推薦算法、Flink狀態(tài)管理與恢復(fù)、Flink的Time詳解、Flink SQL、Flink的事件處理。
核心能力培養(yǎng)：掌握數(shù)據(jù)挖掘、掌握Flink計(jì)算引擎。
項(xiàng)目實(shí)戰(zhàn)：企業(yè)級(jí)電商實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目、推薦系統(tǒng)項(xiàng)目、智慧交通平臺(tái)。