鬼佬大哥大
  • / 7
  • 下載費用:30 金幣  

一種基于HADOOP的大數據遙感衛星數據處理系統.pdf

摘要
申請專利號:

CN201510400968.8

申請日:

2015.07.09

公開號:

CN105045856A

公開日:

2015.11.11

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06F 17/30申請日:20150709|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 中國資源衛星應用中心
發明人: 邵俊; 徐文; 喻文勇; 徐大琦; 馮春
地址: 100094北京市海淀區永豐產業基地豐賢東路5號
優先權:
專利代理機構: 中國航天科技專利中心11009 代理人: 范曉毅
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510400968.8

授權公告號:

||||||

法律狀態公告日:

2018.08.10|||2015.12.09|||2015.11.11

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明提供了一種基于Hadoop的大數據遙感衛星數據處理系統,該系統包括數據獲取子系統、Hadoop數據平臺、計算處理子系統和應用子系統,其中,Hadoop數據平臺包括分布式文件子系統、資源管理子系統、數據庫和物理存儲單元;該系統以數據在線化為基礎,支持面向應用的分布式存儲和處理,可以同時支持橫向跨行業和縱向跨歷史的數據分析。該系統具有靈活的可擴展性,支持未來新發射的遙感衛星地面系統的快速建設和在線接入。

權利要求書

1.一種基于Hadoop的大數據遙感衛星數據處理系統,其特征在于:包括
數據獲取子系統、Hadoop數據平臺、計算處理子系統和應用子系統,所述
Hadoop數據平臺包括分布式文件子系統、資源管理子系統、數據庫和物理存
儲單元,其中:
數據獲取子系統:接收外部采集系統發送的源數據,對所述源數據進行解
壓縮或格式轉換,然后將數據發送到Hadoop數據平臺的分布式文件子系統;
分布式文件子系統:接收數據獲取子系統發送的數據,以及計算處理子系
統發送的數據處理結果,將所述數據和數據處理結果按照分布式存儲策略存儲
在物理存儲單元中,并將所述存儲數據和數據處理結果的元信息存儲在數據庫
中;
資源管理子系統:接收應用子系統發送的指令,對所述指令進行解析,按
照指令解析結果從數據庫中讀取相應數據的元信息,然后將指令解析結果和數
據元信息發送到計算處理子系統;
計算處理子系統:接收資源管理子系統發送的數據元信息和指令解析結果,
根據所述數據元信息在Hadoop數據平臺的物理存儲單元中讀取相應數據,然
后按照所述指令解析結果對數據進行相應處理,并將數據處理結果發送到分布
式文件子系統進行存儲;
應用子系統:發送指令到資源管理子系統,并通過分布式文件子系統讀取
數據處理結果進行顯示。
2.根據權利要求1所述的一種基于Hadoop的大數據遙感衛星數據處理
系統,其特征在于:Hadoop數據平臺的存儲物理單元為在線盤陣。
3.根據權利要求1所述的一種基于Hadoop的大數據遙感衛星數據處理
系統,其特征在于:計算處理子系統包括多個分布式物理計算單元,并且所述
分布式物理計算單元和資源管理子系統通過光纖網絡實現互連。
4.根據權利要求3所述的一種基于Hadoop的大數據遙感衛星數據處理
系統,其特征在于:資源管理子系統包括MapReduce計算框架,所述計算框
架實現數據劃分、計算調度和數據歸約整合控制,具體控制實現方法如下:
(1)、MapReduce計算框架根據指令解析結果對數據處理任務進行劃分,
按照任務劃分結果將各分任務對應的數據元信息和指令分發到計算處理子系統
的各分布式物理計算單元;
(2)、各分布式物理計算單元根據接收到的數據元信息讀取相應數據,并
按照接收到的指令進行數據處理;
(3)、MapReduce計算框架根據步驟(1)的任務劃分結果,對各分布式
物理計算單元的數據處理結果進行歸約整合,即各分布式物理計算單元按照
MapReduce計算框架給出的歸約整合指令將數據處理結果發送到分布式文件
子系統進行存儲。
5.根據權利要求3所述的一種基于Hadoop的大數據遙感衛星數據處理
系統,其特征在于:應用子系統包括多個應用服務器,所述應用服務器通過如
下方法實現數據查詢和下載處理:
應用服務器接收外部輸入的數據查詢或下載命令,對所述命令進行解析后,
按照命令解析結果在Hadoop數據平臺的數據庫中查找數據元信息,然后按照
所述數據元信息從物理存儲單元中讀取數據,并在用戶計算機上對所述數據進
行顯示或下載。

關 鍵 詞:
一種 基于 HADOOP 數據 遙感 衛星 數據處理系統
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種基于HADOOP的大數據遙感衛星數據處理系統.pdf
鏈接地址:http://www.wwszu.club/p-6401559.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大