鬼佬大哥大
  • / 8
  • 下載費用:30 金幣  

一種基于云計算平臺的容災存儲方法.pdf

關 鍵 詞:
一種 基于 計算 平臺 存儲 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
摘要
申請專利號:

CN201210229227.4

申請日:

2012.07.04

公開號:

CN102780769B

公開日:

2015.01.28

當前法律狀態:

授權

有效性:

有權

法律詳情: 專利權的轉移號牌文件類型代碼:1602號牌文件序號:101730056105IPC(主分類):H04L 29/08專利號:ZL2012102292274登記生效日:20160309變更事項:專利權人變更前權利人:南京郵電大學變更后權利人:南京盾華交通科技有限公司變更事項:地址變更前權利人:210003 江蘇省南京市鼓樓區新模范馬路66號變更后權利人:210046 江蘇省南京經濟技術開發區興智路興智科技園B棟0910室|||授權|||實質審查的生效IPC(主分類):H04L 29/08申請日:20120704|||公開
IPC分類號: H04L29/08; H04L12/24 主分類號: H04L29/08
申請人: 南京郵電大學
發明人: 付雄; 王義波; 王汝傳; 孫力娟; 韓志杰; 季一木; 戴華
地址: 210003 江蘇省南京市鼓樓區新模范馬路66號
優先權:
專利代理機構: 南京經緯專利商標代理有限公司 32200 代理人: 葉連生
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201210229227.4

授權公告號:

|||102780769B||||||

法律狀態公告日:

2016.03.30|||2015.01.28|||2013.01.02|||2012.11.14

法律狀態類型:

專利申請權、專利權的轉移|||授權|||實質審查的生效|||公開

摘要

本發明是一種基于云計算平臺的容災存儲模型,該模型,在部署時可以降低對網絡帶寬和節點存儲容量的要求;同時,當數據節點中P個數據節點同時出現故障時,仍能很好很快地實現數據的恢復,極好地保障了數據的完整性。其原理是當用戶上傳的數據比較大時,先將數據進行一定程度的分割,再將分割后的數據塊交叉存儲在數據節點上。運用這種方式實現的存儲,允許節點集群中P個節點同時出現故障,即在集群中P個節點同時出現故障的情況下,仍可以保證用戶數據的完整性,同時恢復的速度比目前主流的全副本放置模型要快許多。其中P為一小于節點數目的常數。

權利要求書

1.一種基于云計算平臺的容災存儲方法,其特征在于該方法在某幾個數據節點同時出現故障的情況下,仍能很快很好地實現數據的恢復,保障數據的可靠性,其步驟主要如下:步驟1.?根據設計要求和系統性能,確定副本節點數????????????????????????????????????????????????,同時確定用戶數據文件大???????????小的閥值,其中閥值將來用于確定副本復制方案;步驟2.?計算用戶數據文件大小,當?時執行步驟3,否則執行步驟4;步驟3.?將數據復制份,在每個節點上各存儲一份完整的數據副本和其校驗和;步驟4.?根據數據節點個數,將整個數據文件分割為相同大小的份;?步驟5.?將每一份數據再分割為相同大小的份,其中為一用戶設定參數,分割后每一份數據大小為,其大小可通過式?來計算:???????????????????????????????????????????????????????步驟6.?將分割的份數據平均分配到個節點上,則每個節點存儲份數據,稱這些數據為節點的本地數據;注:表示本地數據,表示節點的本地數據;??????????????????????????????????????????????????????????????????????????????步驟7.?將節點存儲的本地數據塊進行邏輯組劃分,即將個數據劃為一組,并將劃分后的組進行編號;步驟8.?由步驟6可知,一個節點本地數據可以劃分的邏輯組數為個,令邏輯組為,令表示節點的所有邏輯組,表示當前邏輯組;步驟9.?令刨除節點后的所有參與存儲的節點集合為剩余節點集合,找出每個節點的剩余節點集合,即式????????,,;????????????步驟10.?將節點的數據存儲到刨除的其他個節點上,即,并滿足式,??????????????????????????????其中:為指定的常數,表示存儲到。

說明書

一種基于云計算平臺的容災存儲方法

技術領域

本發明是一種基于云計算平臺的容災存儲方法,主要用于保障集群中數據的可靠性和安全性。屬于分布式計算和云計算領域。

背景技術

隨著Internet網絡技術的發展和計算機技術的不斷提高,網絡中傳輸和處理的數據的能力直線增長。人們希望獲得一種直接、便捷的計算處理方式,不需要安裝應用軟件,只要連接互聯網,就可以利用連接在網絡中的空閑的計算機資源進行任務處理。

在此背景之下,云計算應運而生,所謂云計算,就是通過計算機網絡去連接由大量服務器、存儲設備集群構成的云計算平臺,來獲取遠程客戶端所需要的服務。而云計算服務商則是將一項復雜的運算任務分成若干個部分,通過分布在計算機網絡中的計算機協同合作,最終將運算結果傳輸到客戶端,從而實現個人數據在遠程的計算資源集群的運算。

云存儲的概念與云計算類似,它是指通過集群應用、網格技術或分布式文件系統等功能,將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作,共同對外提供按用戶需求的數據存儲和業務訪問功能的一個系統。

云存儲對用戶來講,不是指某一個具體的設備,而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲,并不是使用某一個存儲設備,而是使用整個云存儲系統帶來的一種數據訪問服務。所以嚴格來講,云存儲不是存儲,而是一種服務。總之,云存儲的核心是應用軟件與存儲設備相結合,通過應用軟件來實現存儲設備向存儲服務的轉變。

現有的網絡帶寬、存儲數據的可靠性和安全性,這些是目前限制云儲存技術走向大眾化的關鍵因素。通過什么樣的存儲模型,可以在現有的網絡帶寬下,將數據比較快速的上傳到云存儲服務器,并可以保證數據的可靠性和安全性,這個問題是當今比較熱門的一個話題,也吸引了很多技術人員來進一步的探索。

目前,為了保障存儲數據的可靠性和安全性,主流的做法是將數據進行全副本備份,在各個副本部署到不同的節點,來避免數據因為服務器故障或自然災害帶來災難性的后果。但上述做法,在保障了數據可靠性和安全性的同時,也帶來了復制耗時過長的問題,且復制中可能存在節點失效,通過對這些問題的研究,本發明提出了一種容災存儲模型,在兼顧這些問題的同時也可以很好的保障數據的高可靠性和安全性。?

發明內容

技術問題:云存儲中為了保證存儲的數據具有較高的可靠性,往往會采用副本容災機制,這樣可以保證節點在災難發生時進行有效恢復,但在部署時,由于現今網絡帶寬的限制,速度往往比較慢;與此同時,由于節點數據存儲量較大,當節點發生災難時,從一個節點進行數據恢復速度較慢,導致在數據恢復期備份節點發生失效的概率較大,針對這些問題,本發明提出了一種基于云計算的容災存儲模型。

技術方案:本發明是一種容災存儲模型,在部署時可以降低對網絡帶寬和節點存儲容量的要求;同時,當P個數據節點同時出現故障時,仍能高效完整地實現數據的恢復,保障了數據的可靠性。其原理是當用戶上傳的數據比較大時,先將數據進行一定程度的分割,再將分割后的數據塊交叉存儲到數據節點上。運用這種方式實現的存儲,允許節點集群中P個節點同時出現故障,即在P個數據節點同時出現故障的情況下,仍可以保證用戶數據的完整性,且恢復速度快。其中P為一小于數據節點數目的常數。

該方法的主要步驟如下:

步驟1.?根據設計要求和系統性能,確定副本節點數????????????????????????????????????????????????,同時確定用戶數據文件大???????小的閥值,其中閥值將來用于確定副本復制方案;

步驟2.?計算用戶數據文件大小,當?時執行步驟3,否則執行步驟4;

步驟3.?將數據復制份,在每個節點上各存儲一份完整的數據副本和其校驗和;

步驟4.?根據數據節點個數,將整個數據文件分割為相同大小的份;?

步驟5.?將每一份數據再分割為相同大小的份,其中為一用戶設定參數,分割后每一份數據大小為,其大小可通過式?來計算:

???????????????????????????????????????????????????????

步驟6.?將分割的份數據平均分配到個節點上,則每個節點存儲份數據,稱這些數據為節點的本地數據。注:表示本地數據,表示節點的本地數據;??????????????????????????????????????????????????????????????????????????????

步驟7.?將節點存儲的本地數據塊進行邏輯組劃分,即將個數據劃為一組,并將劃分后的組進行編號;

步驟8.?由步驟6可知,一個節點本地數據可以劃分的邏輯組數為個,令邏輯組為,令表示節點的所有邏輯組,表示當前邏輯組;

步驟9.?令刨除節點后的所有參與存儲的節點集合為剩余節點集合,找出每個節點的剩余節點集合,即式

????????,,;????????????

步驟10.?將節點的數據存儲到刨除的其他個節點上,即,并滿足式,

????????????????

????????其中:為指定的常數,表示存儲到。

有益效果:本發明提出了一種基于云計算平臺的容災存儲模型,較目前主流的全副本放置的容災存儲模型而言,該模型主要優勢在于:當數據節點中某幾個數據節點同時出現故障時,仍能很好很快地實現數據的恢復,極好地保障了數據的完整性;與此同時,由于在數據節點上放置的并不是完整的副本,因此,無論是剛開始的副本放置還是出現故障后的數據恢復,該模型都具有較快的速度,對網絡帶寬的要求也更低,這些都進一步保障了數據的高可靠性。最后,該模型在數據節點存儲空間的利用方面也有很大的優勢。

????下面給出具體的說明:

????當用戶需要上傳數據到云存儲服務器時,傳統的副本放置模型會根據需要放置的節點個數,對用戶的數據進行完全復制,并分別放置到各個節點。該模型對網絡帶寬、節點容量都有比較高的要求,而且在數據節點出現故障后,對數據的恢復比較慢,在恢復期間如果再有副本節點發生故障,就無法保障數據的完整性。

????運用本發明中的容災存儲模型,在用戶上傳數據時先對用戶需要上傳的數據進行分析,如果數據過大,則會采用交叉不完全副本存儲方式,如果數據不大,則運用傳統的全副本存儲方式。

????這種容災存儲模型,很大程度上降低了對節點存儲容量和網絡帶寬的要求,此外最重要的是這種存儲模式,可以保障在某幾個數據節點同時出現故障的情況下,仍能較快地實現數據的恢復,保障了數據的可靠性。

附圖說明

圖1?總體架構圖。

圖2是基于云計算平臺的容災存儲模型的流程圖。

具體實施方式

本發明的基于云計算平臺的容災存儲方法在某幾個數據節點同時出現故障的情況下,仍能很快很好地實現數據的恢復,保障數據的可靠性,其步驟主要如下:

步驟1.?根據設計要求和系統性能,確定副本節點數,同時確定用戶數據文件大????????小的閥值,其中閥值將來用于確定副本復制方案;

步驟2.?計算用戶數據文件大小,當?時執行步驟3,否則執行步驟4;

步驟3.?將數據復制份,在每個節點上各存儲一份完整的數據副本和其校驗和;

步驟4.?根據數據節點個數,將整個數據文件分割為相同大小的份;?

步驟5.?將每一份數據再分割為相同大小的份,其中為一用戶設定參數,分割后每一份數據大小為,其大小可通過式?來計算:

???????????????????????????????????????????????????????

步驟6.?將分割的份數據平均分配到個節點上,則每個節點存儲份數據,稱這些數據為節點的本地數據。注:表示本地數據,表示節點的本地數據;??????????????????????????????????????????????????????????????????????????????

步驟7.?將節點存儲的本地數據塊進行邏輯組劃分,即將個數據劃為一組,并將劃分后的組進行編號;

步驟8.?由步驟6可知,一個節點本地數據可以劃分的邏輯組數為個,令邏輯組為,令表示節點的所有邏輯組,表示當前邏輯組;

步驟9.?令刨除節點后的所有參與存儲的節點集合為剩余節點集合,找出每個節點的剩余節點集合,即式

????????,,;????????????

步驟10.?將節點的數據存儲到刨除的其他個節點上,即,并滿足式,

????????????????????

??????????其中:為指定的常數,表示存儲到。

一、數據拆分

???在數據拆分之前,需要先對用戶上傳服務器的數據進行分析,如果上傳的數據量比較系統預設的閥值小,則采用全副本放置模型;如果上傳的數據量高于系統預設的閥值,則對數據按照進行拆分,拆分過程詳見步驟3,4,5。

????二、數據交叉存儲

???????這個階段大致可以分為三個過程,即劃分邏輯組、查找剩余節點集合和交叉存儲,前兩個過程是交叉存儲的準備階段,最后一個過程才是交叉存儲真正的實施階段。劃分邏輯組,即對每個節點存儲的數據進行劃分,使其在邏輯上形成一定的分組,詳見步驟6,7,8;查找剩余節點集合,即查找在參與存儲的節點中,除自身之外的其余節點,將其稱為自身的剩余節點集合,詳見步驟9;交叉存儲,即按照一定的方式,將自身存儲的數據以劃分的邏輯組為單位,交叉存儲到自身的剩余節點集合上,詳見步驟10。

關于本文
本文標題:一種基于云計算平臺的容災存儲方法.pdf
鏈接地址:http://www.wwszu.club/p-6420837.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大