基于Hadoop的存儲平臺 解海洋數(shù)據(jù)孤島之困 |
| 發(fā)布時間: 2012/8/6 16:14:36 |
|
本文提出了一種基于云計算技術進行管理和存儲海量海洋科學數(shù)據(jù)方法,構建了海量海洋科學數(shù)據(jù)存儲云計算平臺解決方案,采用Linux集群技術,設計開發(fā)一個基于Hadoop的海量數(shù)據(jù)存儲平臺。
隨著《北部灣經(jīng)濟區(qū)發(fā)展規(guī)劃》頒布實施,以北部灣經(jīng)濟區(qū)海洋為研究樣本的系列重大基礎研究專項和重大科學研究項目正在逐一展開,屆時將產(chǎn)生海量的海洋科學數(shù)據(jù),這些數(shù)據(jù)具有海量、復雜、多樣、異構、動態(tài)變化等特性。而且目前各項目的海洋科學數(shù)據(jù)均缺乏統(tǒng)一的采集和存儲的標準和規(guī)范,形成“數(shù)據(jù)孤島”。如何存儲和管理海量的海洋科學數(shù)據(jù),使這些這些數(shù)據(jù)得到高效的利用,成為進行海洋科學研究項目的關鍵之一。因此構建一個北部灣海洋科學數(shù)據(jù)存儲平臺是目前充分發(fā)揮各重大基礎科學研究項目研究效益的現(xiàn)實途徑,也是北部灣經(jīng)濟區(qū)可持續(xù)發(fā)展的必然要求。 1平臺總體設計 1.1平臺總體框架結構 (1)結合海量數(shù)據(jù)異構性、分布性、多樣性等特點,從系統(tǒng)編程實現(xiàn)角度考慮,本系統(tǒng)采用MVC三層架構設計,使結構更加清晰,系統(tǒng)易于擴展。 顯示層:為用戶提供方便、易用和友好界面,普通用戶可以通過頁面瀏覽和查詢海洋數(shù)據(jù),高級用戶可以利用系統(tǒng)提供的公共API接口,擴展系統(tǒng)。 業(yè)務處理層:并行處理海量海洋科學數(shù)據(jù),并對整個平臺系統(tǒng)配置管理。 數(shù)據(jù)資源層:是整個平臺的基礎,存儲和管理海量海洋科從系統(tǒng)功能角度考慮,可以將整個系統(tǒng)分三層:第一層是數(shù)據(jù)訪問層。對于海量數(shù)據(jù)存儲,在存取數(shù)據(jù)時不會只局限對一種數(shù)據(jù)庫的操作,本層需要對各種數(shù)據(jù)庫提供的不同數(shù)據(jù)源進行屏蔽,提供數(shù)據(jù)庫訪問服務,這樣系統(tǒng)才能夠適應處理存儲海量數(shù)據(jù)的要求,具有較好的可擴展性和完備性,方便管理和部署。 第二層是數(shù)據(jù)處理層。數(shù)據(jù)處理層作為整個系統(tǒng)的核心,同時也是本系統(tǒng)設計開發(fā)的重點內容。它采用分布式數(shù)據(jù)庫技術、Linux集群技術等,提供了對海量數(shù)據(jù)的并行加載存儲等主要功能。只有通過這一層對海量數(shù)據(jù)并行處理,才能把處理后的數(shù)據(jù)存儲到本系統(tǒng)的分布式數(shù)據(jù)庫中。同時提供了保證系統(tǒng)能夠正常運行的管理支撐服務。
圖1 平臺整體框架結構 本文出自:億恩科技【www.cmtents.com】 |
京公網(wǎng)安備41019702002023號