大數(shù)據(jù)的框架主要學(xué)習(xí)和使用什么呢？什么是大數(shù)據(jù)？大數(shù)據(jù)，IT行業(yè)術(shù)語，指的是可以 傳統(tǒng)的軟件工具在一定的時間范圍內(nèi)是無法捕捉、管理和處理的。它是一種海量、高增長、多元化的信息資產(chǎn)，需要一種新的處理模式

大數(shù)據(jù)的框架主要學(xué)習(xí)和使用什么呢？

什么是大數(shù)據(jù)？大數(shù)據(jù)，IT行業(yè)術(shù)語，指的是可以 傳統(tǒng)的軟件工具在一定的時間范圍內(nèi)是無法捕捉、管理和處理的。它是一種海量、高增長、多元化的信息資產(chǎn)，需要一種新的處理模式來擁有更強(qiáng)的決策力、洞察和發(fā)現(xiàn)能力以及流程優(yōu)化能力。

Victor Mayer-schoenberg和Kenneth Cook《大數(shù)據(jù)時代》大數(shù)據(jù)是指所有數(shù)據(jù)都用于分析和處理，而沒有隨機(jī)分析(抽樣調(diào)查)的捷徑。大數(shù)據(jù)的5V特征(IBM提出):體量(海量)、速度(高速)、多樣性(多樣性)、價值(低價值密度)、真實(shí)性。

大數(shù)據(jù)開發(fā)的學(xué)習(xí)路線:

第一階段:Hadoop生態(tài)架構(gòu)技術(shù)

1.語言基礎(chǔ)

Java:在Java虛擬機(jī)中理解和練習(xí)內(nèi)存管理、多線程、線程池、設(shè)計模式、并行化就夠了，不需要很深的掌握。

Linux:系統(tǒng)安裝，基本命令，網(wǎng)絡(luò)配置，Vim編輯器，進(jìn)程管理，Shell腳本，虛擬機(jī)的菜單熟悉度等等。

Python:基本語法、數(shù)據(jù)結(jié)構(gòu)、函數(shù)、條件判斷、循環(huán)等基礎(chǔ)知識。

2.環(huán)境準(zhǔn)備

本文介紹了如何建立一個完全分布式的windows計算機(jī)，有1個主機(jī)和2個從機(jī)。

VMware虛擬機(jī)，Linux系統(tǒng)(Centos6.5)，Hadoop安裝包，Hadoop全分布式集群環(huán)境都在這里準(zhǔn)備好了。

3、MapReduce

MapReduce分布式離線計算框架是Hadoop的核心編程模型。

4、HDFS1.0/2.0

HDFS可以提供高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。

5、紗線(Hadoop2.0)

Yarn是一個資源調(diào)度平臺，主要負(fù)責(zé)給任務(wù)分配資源。

6、蜂巢

Hive是一個數(shù)據(jù)倉庫，所有數(shù)據(jù)都存儲在HDFS上。Hive主要用來寫Hql。

7、火花

Spark是專門為大規(guī)模數(shù)據(jù)處理設(shè)計的快速通用計算引擎。

8、火花放電

Spark Streaming是一個實(shí)時處理框架，數(shù)據(jù)是批量處理的。

9、火花屋

Spark作為Hive的計算引擎，將Hive的查詢作為Spark的任務(wù)提交給Spark集群進(jìn)行計算，可以提高Hive查詢的性能。

10、風(fēng)暴

Storm是一個實(shí)時計算框架。Storm實(shí)時處理每一條添加的數(shù)據(jù)，一條一條，可以保證數(shù)據(jù)處理的及時性。

動物園管理員

佐基Per是許多大數(shù)據(jù)框架的基礎(chǔ)，也是集群的管理者。

12、Hbase

Hbase是一個Nosql數(shù)據(jù)庫，它是高度可靠的、面向列的、可伸縮的和分布式的。

13、卡夫卡

Kafka是一個消息中間件，作為中間緩沖層。

14、水槽

Flume常見的是從應(yīng)用程序生成的日志文件中收集數(shù)據(jù)，一般有兩個過程。

一種是Flume采集的數(shù)據(jù)存儲在Kafka中，便于Storm或SparkStreaming實(shí)時處理。

另一個過程是將Flume收集的數(shù)據(jù)存儲在HDFS上進(jìn)行離線處理，以便以后使用hadoop或spark。

第二階段:數(shù)據(jù)挖掘算法

1.中文分詞

開源敘詞表的離線和在線應(yīng)用

2.自然語言處理

文本相關(guān)算法

3.推薦算法

基于CB，CF，歸一化方法，Mahout應(yīng)用。

4.分類算法

NB、SVM

5.回歸算法

LR、決策樹

6.聚類算法

分層聚類，k均值

7.神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)、張量流

以上是學(xué)習(xí)Hadoop開發(fā)的詳細(xì)路線。如果需要了解具體框架的開發(fā)技術(shù)，可以咨詢Gamigu的大數(shù)據(jù)老師了解更多。

學(xué)習(xí)大數(shù)據(jù)開發(fā)需要掌握哪些技術(shù)？

(1)Java語言基礎(chǔ)

Java開發(fā)入門，熟悉Eclipse開發(fā)工具，Java語言基礎(chǔ)，Java進(jìn)程控制，Java字符串，Java數(shù)組和類和對象，數(shù)字處理類和核心技術(shù)，I/O和反射，多線程，Swing程序和集合類。

(2)HTML、CSS和Java

PC端網(wǎng)站布局，html5cs3基礎(chǔ)，WebApp頁面布局，原生Java交互功能開發(fā)，Ajax異步交互，jQuery應(yīng)用。

(3)JavaWeb和數(shù)據(jù)庫

數(shù)據(jù)庫，JavaWeb開發(fā)核心，JavaWeb開發(fā)內(nèi)幕

LinuxampHadoop生態(tài)系統(tǒng)

Linux系統(tǒng)，Hadoop離線計算大綱，分布式數(shù)據(jù)庫Hbase，數(shù)據(jù)倉庫Hive，數(shù)據(jù)遷移工具Sqoop，F(xiàn)lume分布式日志框架。

分布式計算框架和SparkampStrom生態(tài)系統(tǒng)

(1)分布式計算框架

Python編程語言、Scala編程語言、Spark大數(shù)據(jù)處理、Spark—流式大數(shù)據(jù)處理、Spark—Mlib機(jī)器學(xué)習(xí)、Spark—GraphX圖計算、實(shí)戰(zhàn)1:基于Spark的推薦系統(tǒng)(某一線公司的真實(shí)項目)、實(shí)戰(zhàn)2:新浪。com()。

(2)2)暴風(fēng)科技架構(gòu)體系的原理和基礎(chǔ)，消息隊列kaf。Ka、R

簡述hadoop2.0的四個核心組件及其功能？

Hadoop基本概念

Hadoop生態(tài)系統(tǒng)是一個龐大的、功能齊全的生態(tài)系統(tǒng)，但它仍然被一個叫做Hadoop的分布式系統(tǒng)基礎(chǔ)設(shè)施所包圍。它的核心組件由四部分組成，即:通用、HDFS、MapReduce和YARN。

Common是Hadoop架構(gòu)的常用組件；

HDFS是Hadoop的分布式文件存儲系統(tǒng)。

MapReduce是Hadoop提供的編程模型，可用于大規(guī)模數(shù)據(jù)集的并行操作。

YARN是Hadoop架構(gòu)升級后廣泛使用的資源管理器。