大數據技術發展趨勢

      大數據技術發展趨勢怎么樣的？2014年以后，整體大數據的技術棧已經趨于穩定，由于云計算、人工智能等技術發展，還有芯片、內存端的變化，大數據技術也在發生相應的變化。總結來看主要有幾點大數據技術發展趨勢：

      一是流式架構的更替，最早大數據生態沒有辦法統一批處理和流計算，只能采用Lambda架構，批的任務用批計算引擎，流式任務采用流計算引擎，比如批處理采用MapReduce，流計算采用Storm。后來Spark試圖從批的角度統一處理和批次處理，Spark Streaming采用了micro-bach的思路來處理流數據。近年來純流架構的Flink異軍突起，由于其架構設計合理，生態健康，近年來發展特別快。而Spark近期也拋棄了自身微批處理的架構，轉向了純流架構Structure Streaming，流計算的未來霸主還未見分曉。

      二是大數據技術的云化，一方面是公有云業務的成熟，眾多大數據技術都被搬到了云上，其運維方式和運行環境都發生了較大變化，帶來計算和存儲資源更加的彈性變化，另一方面，私有部署的大數據技術也逐漸采用容器、虛擬化等技術，期望更加精細化地利用計算資源。

      三是異構計算的需求，近年來在通用CPU之外，GPU、FPGA、ASIC等芯片發展迅猛，不同芯片擅長不同的計算任務，例如GPU擅長圖像數據的處理，大數據技術開始嘗試根據不同任務來調用不同的芯片，提升數據處理的效率。

      四是兼容智能類的應用，隨著深度學習的崛起，AI類的應用越來越廣泛，大數據的技術棧在努力兼容AI的能力，通過一站式的能力來做數據分析和AI應用，這樣開發者就能在一個工具站中編寫SQL任務，調用機器學習和深度學習的算法來訓練模型，完成各類數據分析的任務。

      注：尊重原創文章,轉載請注明出處和鏈接 http://m.dedgn.cn/news-id-44949.html 違者必究！部分文章來源于網絡由培訓無憂網編輯部人員整理發布,內容真實性請自行核實或聯系我們，了解更多相關資訊請關注數據庫工程師頻道查看更多，了解相關專業課程信息您可在線咨詢也可免費申請試課。關注官方微信了解更多：150 3333 6050