Storm為分布式實時計算提供了一組通用原語,可被用于“流處理”之中,實時處理消息并更新數據庫。這是管理隊列及工作者集群的另一種方式。 Storm也可被用于“連續計算”(continuous computation),對數據流做連續查詢,在計算時就將結果以流的形式輸出給用戶。它還可被用于“分布式RPC”,以并行的方式運行昂貴的運算。
本課程從大數據流式處理技術以及Storm實戰的角度,理論和實踐相結合,全方位地介紹Storm大數據流式處理工具的原理和內核。以案例分析的方式來幫助學員了解如何用BDAS系列工具來解決具體的問題,并介紹了從大數據中挖掘出有價值的信息的關鍵。
本課程不是一個泛泛的理論性、概念性的介紹課程,而是針對問題討論解決方案的深入課程。教師對于上述領域有深入的理論研究與實踐經驗,在課程中將會針對這些問題與學員一起進行研究,在關鍵點上演示、實踐,以加深對于這些解決方案的理解。通過本課程學習,希望推動大數據相關的項目開發上升到一個新水平。
證書
培訓結束,頒發中科院計算所職業培訓中心“Storm大數據流式處理技術”結業證書。
培訓對象
1,系統架構師、系統分析師、高級程序員、資深開發人員。
2,牽涉到大數據處理的數據中心運行、規劃、設計負責人。
3,政府機關,金融保險、移動和互聯網等大數據來源單位的負責人。
4,高校、科研院所牽涉到大數據與分布式數據處理的項目負責人。
學員基礎
1,對IT系統設計有一定的理論與實踐經驗。
2,有一定的數據倉庫與大數據流式處理基礎知識。
第一講 Storm大數據處理介紹
1) 什么是Storm
2) Storm的誕生
3) Storm的成長
4) Storm的優勢
5) Storm的應用現狀和發展趨勢
第二講 Storm配置和容錯機制
1) Storm基本概念
2) Storm的配置
3) 序列化(Serialization)
4) 容錯機制
第三講 Storm可靠性及消息傳輸
3) 消息傳輸機制
4) Storm生產與開發環境
第四講 Storm拓撲及流分組
1) 什么是拓撲
2) TopologyBuilder
3) 流分組
4) 不同模式下運行拓撲
5) 拓撲的常見模式
第五講 Spout和Bolt詳解
1) 可靠的與不可靠的消息
2) Spout獲取數據的方式
3) Bolt數據處理概述
4) 可靠的與不可靠的Bolt
5) 復合流與復合Anchoring
第六講 分布式DPRC
1) DRPC TopologyBuilder
2) 本地模式的DRPC
3) 遠程模式的DRPC
4) 一個復雜的DRPC例子
5) 非線性DRPC
第七講 Storm事務拓撲
1) 什么是事務拓撲
2) 事務拓撲的設計細節
3) 事務拓撲的實現細節
4) 事務拓撲API
第八講 Storm中的Trident
1) Trident概述
2) Trident API
3) Trident的操作
第九講 Trident的狀態
1)Trident的狀態
2) 實現Trident Spout
3) Spout與State的聯系
第十講 Storm企業應用
1) Storm應用在互聯網企業
2) Storm在Twitter的應用
3) Storm其它企業的應用
4) 小結
匯款、現金、支票、刷卡
名 稱:北京市海淀區中科院計算所職業技能培訓學校
開戶行:北京銀行中關村支行
帳 號:01090302900120105445661