講述大數(shù)據(jù)靈丹妙藥之Hadoop的前世今生

發(fā)布時(shí)間: 2012/9/5 10:43:54

一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開(kāi)發(fā)。用戶(hù)可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱(chēng)HDFS。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問(wèn)（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

　　Hadoop名字的起源

　　Hadoop這個(gè)名字不是一個(gè)縮寫(xiě)，它是一個(gè)虛構(gòu)的名字。該項(xiàng)目的創(chuàng)建者，Doug Cutting如此解釋Hadoop的得名：“這個(gè)名字是我孩子給一個(gè)棕黃色的大象樣子的填充玩具命名的。我的命名標(biāo)準(zhǔn)就是簡(jiǎn)短，容易發(fā)音和拼寫(xiě)，沒(méi)有太多的意義，并且不會(huì)被用于別處。小孩子是這方面的高手。”[Hadoop： The Definitive Guide]

　　Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作為 Lucene的子 hadoop logo

　　項(xiàng)目 Nutch的一部分正式引入。它受到最先由 Google Lab 開(kāi)發(fā)的 Map/Reduce 和 Google File System(GFS) 的啟發(fā)。2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分別被納入稱(chēng)為 Hadoop 的項(xiàng)目中。

　　Hadoop 是最受歡迎的在 Internet 上對(duì)搜索關(guān)鍵字進(jìn)行內(nèi)容分類(lèi)的工具，但它也可以解決許多要求極大伸縮性的問(wèn)題。例如，如果您要 grep 一個(gè) 10TB 的巨型文件，會(huì)出現(xiàn)什么情況？在傳統(tǒng)的系統(tǒng)上，這將需要很長(zhǎng)的時(shí)間。但是 Hadoop 在設(shè)計(jì)時(shí)就考慮到這些問(wèn)題，采用并行執(zhí)行機(jī)制，因此能大大提高效率。

　　hadoop優(yōu)點(diǎn)

　　Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。Hadoop 是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ鳎ㄟ^(guò)并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。此外，Hadoop 依賴(lài)于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。

　　Hadoop帶有用 Java 語(yǔ)言編寫(xiě)的框架，因此運(yùn)行在 Linux 生產(chǎn)平臺(tái)上是非常理想的。Hadoop 上的應(yīng)用程序也可以使用其他語(yǔ)言編寫(xiě)，比如 C++。

本文出自：億恩科技【www.cmtents.com】

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]