ClouderaApacheHadoop培訓(xùn)及認(rèn)證幫助您進(jìn)階大數(shù)據(jù)知識(shí)及技能。
Cloudera大學(xué)為期4天的Hadoop管理員培訓(xùn)將幫助學(xué)員綜合理解并全面掌握通過(guò)ClouderaManager對(duì)Hadoop集群的運(yùn)維管理，包括：安裝，配置、負(fù)載平衡及性能調(diào)優(yōu)等。通過(guò)該培訓(xùn)，Hadoop系統(tǒng)管理員將能準(zhǔn)備好應(yīng)對(duì)實(shí)際運(yùn)維中遇到的挑戰(zhàn)。 一．培訓(xùn)內(nèi)容 通過(guò)講師在課堂上的講解，以及實(shí)操練習(xí)，學(xué)員將學(xué)習(xí)以下內(nèi)容： ● ClouderaManager管理集群的特性，諸如日志匯總、配置管理、資源管理、報(bào)告、報(bào)警及服務(wù)管理等。 ● YARN、MapReduce、Spark及HDFS的工作原理。 ● 如何為你的集群選取合適的硬件和架構(gòu)。 ● 如何將Hadoop集群和企業(yè)已有的系統(tǒng)進(jìn)行無(wú)縫集成。 ● 如何使用Flume進(jìn)行實(shí)時(shí)數(shù)據(jù)采集以及如何使用Sqoop在RDBMS和Hadoop集群之間進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出。 ● 如何配置公平調(diào)度器為Hadoop上的多用戶提供服務(wù)級(jí)別保障。 ● 產(chǎn)品環(huán)境中Hadoop集群的運(yùn)維實(shí)踐。 ● Hadoop集群排錯(cuò)、診斷問(wèn)題和性能調(diào)優(yōu)。 二．培訓(xùn)對(duì)象及學(xué)員基礎(chǔ) 面向系統(tǒng)管理員和IT經(jīng)理，需具備Linux經(jīng)驗(yàn)，無(wú)需ApacheHadoop基礎(chǔ)。 三．認(rèn)證 結(jié)束本課程培訓(xùn)后，我們建議學(xué)員準(zhǔn)備并注冊(cè)參加CCAHadoop管理員考試。通過(guò)并獲取該證書是向公司及客戶證明個(gè)人在Hadoop領(lǐng)域的技術(shù)和專長(zhǎng)的有力依據(jù)。 四．課程大綱 1. ApacheHadoop介紹 ● Hadoop的創(chuàng)建動(dòng)機(jī) ● 基本概念 ● Hadoop核心部件 2. Hadoop集群安裝 ● 集群管理方案 ● ClouderaManager特性 ● Clouderamanager安裝 ● Hadoop(CDH)安裝 3. Hadoop分布式文件系統(tǒng)(HDFS) ● HDFS特性 ● 讀寫文件 ● NameNode內(nèi)存考慮 ● HDFS安全簡(jiǎn)介 ● HDFSWebUI ● 使用HDFSShell 4. YARN上的MapReduce和Spark ● 計(jì)算平臺(tái)在Hadoop里扮演的角色 ● YARN：集群資源管理器 ● MapReduce概念 ● ApacheSpark概念 ● Yarn上的計(jì)算平臺(tái) ● 通過(guò)WebUI及Shell觀察YARN應(yīng)用 ● YARN應(yīng)用運(yùn)行日志 5. Hadoop配置及服務(wù)運(yùn)行日志 ● ClouderaManager配置管理機(jī)制 ● 定位配置參數(shù)及進(jìn)行配置變更 ● 管理角色實(shí)例及添加服務(wù) ● 配置HDFS服務(wù) ● 配置Hadoop服務(wù)運(yùn)行日志 ● 配置YARN服務(wù) 6. HDFS數(shù)據(jù)導(dǎo)入 ● 使用Flume從外部數(shù)據(jù)源實(shí)時(shí) ● 導(dǎo)入數(shù)據(jù) ● 使用Sqoop從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù) ● REST接口 ● 導(dǎo)入數(shù)據(jù)的實(shí)踐 7. Hadoop集群規(guī)劃 ● 規(guī)劃考慮因素 ● 硬件選擇 ● 虛擬化選項(xiàng)＊ ● 網(wǎng)絡(luò)因素 ● 節(jié)點(diǎn)配置 8. Hive，Impala及Pig安裝及配置 ● Hive ● Impala ● Pig 9. Hadoop客戶端及Hue ● 什么是Hadoop客戶端 ● 安裝及配置Hadoop客戶端 ● 安裝及配置Hue ● 使用Hue進(jìn)行身份驗(yàn)證及授權(quán) 10. 集群高級(jí)配置 ● 高級(jí)配置參數(shù) ● Hadoop端口配置 ● HDFS機(jī)柜感知配置 ● HDFS高可靠性配置 11. Hadoop安全 ● Hadoop安全的重要性 ● Hadoop安全性概念 ● Kerberos簡(jiǎn)介 ● 使用Kerberos保護(hù)Hadoop集群 ● 其他安全概念 12. 資源管理 ● 使用靜態(tài)服務(wù)池配置Linuxcgroup ● 公平調(diào)度器 ● 配置動(dòng)態(tài)資源池 ● YARN內(nèi)存及CPU設(shè)置 ● Impala查詢調(diào)度 13. 集群維護(hù) ● 檢查HDFS狀態(tài) ● 集群間復(fù)制數(shù)據(jù) ● 添加/移除集群節(jié)點(diǎn) ● 集群數(shù)據(jù)負(fù)載平衡 ● 目錄快照 ● 集群升級(jí) 14. 集群監(jiān)控及排錯(cuò) ● ClouderaManager監(jiān)控特性 ● 監(jiān)控Hadoop集群 ● Hadoop集群排錯(cuò) ● 常見(jiàn)配置不當(dāng)問(wèn)題 15. 結(jié)論
Cloudera大數(shù)據(jù)課程體系
騰科IT教育
十七年老品牌
