先給大家來張大數(shù)據(jù)體系學(xué)習(xí)圖:
基本內(nèi)容:
1、Linux命令基礎(chǔ)實戰(zhàn)
大數(shù)據(jù)架構(gòu)體系結(jié)構(gòu)及開源組件介紹
Linux基本操作
2、Hadoop基礎(chǔ)
Hadoop基礎(chǔ),對Hadoop架構(gòu)、核心組件HDFS/YARN做了深入淺出的介紹,讓你快速把握Hadoop的核心技術(shù)和工作原理,逐漸形成分布式思維;
Hadoop介紹
Hadoop運行模式
3、Hadoop集群搭建
Hadoop集群搭建——安裝Linux虛擬機
Hadoop集群搭建——遠程連接
Hadoop集群搭建(on Linux)——Hadoop(上)
Hadoop集群搭建(on Linux)——Hadoop(下)
Hadoop集群搭建(on Mac)——Hadoop
4、HDFS原理
番外篇-課程體系
HDFS架構(gòu)原理
FS Shell命令介紹及實踐
5、YARN工作原理
YARN的產(chǎn)生背景
YARN的設(shè)計思想
YARN的基本架構(gòu)
YARN的工作流程(小結(jié))
6、Sqoop
Sqoop,作為關(guān)系型數(shù)據(jù)庫與Hadoop之間的橋梁,批量傳輸數(shù)據(jù),讓你自然的從關(guān)系型數(shù)據(jù)庫過度到Hadoop平臺,在關(guān)系型數(shù)據(jù)庫與Hadoop之間游刃有余的進行數(shù)據(jù)導(dǎo)入導(dǎo)出;
Sqoop & Hive課程內(nèi)容介紹
Sqoop介紹與安裝
Sqoop的基本使用
Sqoop 導(dǎo)入?yún)?shù)詳解
Sqoop導(dǎo)入實戰(zhàn)
Sqoop增量導(dǎo)入(上)
Sqoop增量導(dǎo)入(下)
Sqoop導(dǎo)出實戰(zhàn)(上)
Sqoop導(dǎo)出實戰(zhàn)(下)
Sqoop Job
7、Hive
Hive,基于Hadoop大數(shù)據(jù)平臺的數(shù)據(jù)倉庫,可以讓你實現(xiàn)傳統(tǒng)數(shù)據(jù)倉庫中的絕大部分數(shù)據(jù)處理、統(tǒng)計分析,讓你在Hadoop大數(shù)據(jù)平臺上感受到Hive QL帶來的便利的交互式查詢體驗;Mars將以日志分析或其他示例帶大家熟練掌握Hive的應(yīng)用;
Hive架構(gòu)介紹(一)
Hive架構(gòu)介紹(二)
Hive環(huán)境搭建(一)
Hive環(huán)境搭建(二)
Hive CLI初探
Beeline介紹
Hive數(shù)據(jù)類型
Hive表一——標準建表語句解析&內(nèi)、外表
Hive表二——文件及數(shù)據(jù)格式
Hive分區(qū)&桶&傾斜概念
Hive表——Alter
Hive視圖&索引簡介
Hive表——show & Desc命令
Hive數(shù)據(jù)導(dǎo)入--load
Hive數(shù)據(jù)導(dǎo)入--insert
Hive分區(qū)表實戰(zhàn)
Hive復(fù)雜數(shù)據(jù)類型的嵌套實例
Hive源碼閱讀環(huán)境
Hive執(zhí)行原理
Hive查詢優(yōu)化
UDF函數(shù)實例
Hive終極實例——日志分析
(1)網(wǎng)站日志分析的術(shù)語、架構(gòu)介紹
(2)建表及數(shù)據(jù)準備
(3)數(shù)據(jù)處理及統(tǒng)計分析
(4)數(shù)據(jù)采集到統(tǒng)計分析結(jié)果的crontab定時調(diào)度
8、HBase
HBase,列式存儲數(shù)據(jù)庫,提供了快速的查詢方式,是Apache Kylin的默認數(shù)據(jù)存儲結(jié)果;
HBase介紹及架構(gòu)
HBase安裝
HBase操作實戰(zhàn)
Hive與HBase集成實戰(zhàn)
9、Kylin
Kylin,基于Hadoop的OLAP分析引擎,在Kylin中可以實現(xiàn)傳統(tǒng)OLAP的各種操作,直接讀取Hive的數(shù)據(jù)或流式數(shù)據(jù)作為數(shù)據(jù)源,把這些數(shù)據(jù)根據(jù)業(yè)務(wù)模型構(gòu)建成Cube,Kylin提供了基于Hadoop(MapReduce)的Cube構(gòu)建,Build完成的Cube數(shù)據(jù)直接存儲于HBase中。Kylin提供了Web UI供查詢,包括一些圖表展現(xiàn),是基于大數(shù)據(jù)的完美OLAP工具;
維度建模
Kylin背景及原理架構(gòu)
Kylin環(huán)境搭建
維度建模知識
Kylin Cube Build步驟解析
Kylin Cube實戰(zhàn)
Kylin 增量Cube
Kylin 優(yōu)化
10、Spark
Spark,基于內(nèi)存計算的大數(shù)據(jù)計算引擎,提供了Spark SQL、Spark MLlib(基于Spark的機器學(xué)習(xí))、SparkR等框架適應(yīng)不同的應(yīng)用需求,Spark專題將和大家一起實踐操作各種應(yīng)用和算法;
Spark集群搭建
Spark Core
Spark WordCount(Spark-shell/pyspark..)
IDEA IntelliJ搭建Spark開發(fā)環(huán)境
Spark編程實例
Spark SQL及DataFrame
Spark SQL實例
Spark Streaming
Spark Streaming實例
Spark MLlib
Spark MLlib應(yīng)用實例
Spark R介紹
聯(lián)系客服