建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家描述一下Hadoop簡介，主要包括Hadoop概念和Hadoop子系統(tǒng)功能等內容，希望通過本節(jié)的介紹大家對Hadoop有新的認識，讓我們一起來學習Hadoop吧。
創(chuàng)新互聯(lián)公司自成立以來，一直致力于為企業(yè)提供從網(wǎng)站策劃、網(wǎng)站設計、網(wǎng)站制作、成都做網(wǎng)站、電子商務、網(wǎng)站推廣、網(wǎng)站優(yōu)化到為企業(yè)提供個性化軟件開發(fā)等基于互聯(lián)網(wǎng)的全面整合營銷服務。公司擁有豐富的網(wǎng)站建設和互聯(lián)網(wǎng)應用系統(tǒng)開發(fā)管理經驗、成熟的應用系統(tǒng)解決方案、優(yōu)秀的網(wǎng)站開發(fā)工程師團隊及專業(yè)的網(wǎng)站設計師團隊。
Hadoop簡介
Hadoop是一個分布式系統(tǒng)基礎架構，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。
簡單地說來，Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。
Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。
Hadoop是一個分布式計算基礎設施，它包含一系列相關的子項目，這些項目都隸屬于Apache軟件基金會（ASF）。ASF為這些開源社區(qū)項目提供支持。Hadoop里***的是MapReduce和分布式文件系統(tǒng)（HDFS），其他的子系統(tǒng)提供了一些附加功能，或者在core上增加了一些高級的抽象。下面Hadoop簡介向你介紹一下Hadoop子系統(tǒng)的一些附加功能。
Core
分布式系統(tǒng)和通用IO組件和接口（序列化，Java遠程過程調用等等）。
Avro
支持跨語言過程調用，持久數(shù)據(jù)存儲的數(shù)據(jù)序列化系統(tǒng)。
MapReduce
構建在廉價的PC機器上的分布式數(shù)據(jù)處理模型和運行環(huán)境。
HDFS
Hadoop簡介中的HDFS構建在廉價的PC機器上的分布式文件系統(tǒng)。
Pig
處理海量數(shù)據(jù)集的數(shù)據(jù)流語言和運行環(huán)境。pig運行在HDFS和MapReduce之上。
HBase
分布式，面向列的數(shù)據(jù)庫。HBase使用HDFS作為底層存儲，同時使用MapReduce支持批處理模式的計算和隨機查詢。
ZooKeeper
提供分布式、高效的協(xié)作服務。ZooKeeper提供分布式鎖這樣的原子操作，可以用來構建分布式應用。
Hive
分布式數(shù)據(jù)倉庫，Hive使用HDFS存儲數(shù)據(jù)，提供類似SQL的語言（轉換為MapReduce任務）查詢數(shù)據(jù)。
Chukwa
分布式數(shù)據(jù)采集和分析系統(tǒng)。使用HDFS存儲數(shù)據(jù)，使用Mapreduce輸出分析報告。本節(jié)關于Hadoop簡介講解完畢。
【編輯推薦】
- Hadoop概念及其用法專家講解
- Hadoop0.20.2集群配置入門指導手冊
- Hadoop文件系統(tǒng)如何快速安裝？
- 輕松實現(xiàn)Hadoop Hdfs配置
- Hadoop完全分布模式安裝實現(xiàn)詳解
分享文章：術語匯編 Hadoop簡介
本文鏈接：http://m.fisionsoft.com.cn/article/dpdhedp.html
