鬼佬大哥大
  • / 18
  • 下載費用:30 金幣  

一種數據處理方法、裝置和系統.pdf

摘要
申請專利號:

CN201410154051.X

申請日:

2014.04.17

公開號:

CN105022586A

公開日:

2015.11.04

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06F 3/06申請日:20140417|||公開
IPC分類號: G06F3/06; G06F11/10 主分類號: G06F3/06
申請人: 中國移動通信集團公司
發明人: 于杰; 高從文; 隋琪
地址: 100032北京市西城區金融大街29號
優先權:
專利代理機構: 北京同達信恒知識產權代理有限公司11291 代理人: 郭潤湘
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201410154051.X

授權公告號:

||||||

法律狀態公告日:

2018.06.05|||2015.12.02|||2015.11.04

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明公開了一種數據處理方法、裝置和系統,用以解決現有技術中本地磁盤陣列的磁盤利用率較低的問題。該方法包括:本地獨立磁盤冗余陣列RAID卡向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算所述第一本地磁盤的校驗信息的全部數據;按照預先設置的校驗算法對讀取的全部數據進行校驗計算,生成第一校驗信息;將所述第一校驗信息發送給網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中;其中,所述本地RAID卡和所述網絡RAID卡位于同一局域網中的不同存儲設備中。

權利要求書

權利要求書
1.  一種數據處理方法,其特征在于,包括:
本地獨立磁盤冗余陣列RAID卡向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算所述第一本地磁盤的校驗信息的全部數據;
按照預先設置的校驗算法對讀取的全部數據進行校驗計算,生成第一校驗信息;
將所述第一校驗信息發送給網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中;其中,所述本地RAID卡和所述網絡RAID卡位于同一局域網中的不同存儲設備中。

2.  如權利要求1所述的方法,其特征在于,將所述第一校驗信息發送給網絡RAID卡之前,所述方法還包括:
根據預先設置的所述本地磁盤陣列中的本地磁盤和所述網絡磁盤陣列中的網絡磁盤之間的映射關系,確定所述第一本地磁盤對應的第一網絡磁盤;則
將所述第一校驗信息發送給所述網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中,具體包括:
將所述第一校驗信息和所述第一網絡磁盤的標識發送給所述網絡RAID卡,指示所述網絡RAID卡根據所述第一校驗信息對所述第一網絡磁盤進行更新。

3.  如權利要求1所述的方法,其特征在于,所述方法還包括:
當所述本地磁盤陣列中的第二本地磁盤存儲的數據損壞時,根據所述映射關系,確定所述第二本地磁盤對應的第二網絡磁盤;
向所述網絡RAID卡發送獲取請求,所述獲取請求中攜帶所述第二網絡磁盤的磁盤標識,以便所述網絡RAID卡能夠從所述第二網絡磁盤中獲取第二校驗信息并發送給所述本地RAID卡;
接收所述網絡RAID卡發送的所述第二校驗信息;
按照所述校驗算法,對所述第二校驗信息和預先讀取的用于計算所述第二 本地磁盤對應的校驗信息的全部數據進行計算,并利用計算得到的數據對所述第二本地磁盤進行恢復。

4.  如權利要求1~3任一所述的方法,其特征在于,所述方法還包括:
當所述本地RAID卡的IP地址發生變化時,所述本地RAID卡向所述網絡RAID卡發送第一地址變化通知消息,所述第一地址變化通知消息中攜帶所述本地RAID卡變化后的IP地址,以便所述網絡RAID卡能夠根據所述本地RAID卡變化后的IP地址與所述本地RAID卡進行通信。

5.  如權利要求1~3任一所述的方法,其特征在于,所述本地RAID卡中預先存儲所述網絡RAID卡的IP地址;則
所述方法還包括:
所述本地RAID卡接收所述網絡RAID卡發送的第二地址變化通知消息,所述第二地址變化通知消息中攜帶所述網絡RAID卡變化后的IP地址;
根據所述網絡RAID卡變化后的IP地址,對預先存儲的所述網絡RAID卡的IP地址進行更新,以便能夠根據所述網絡RAID卡變化后的IP地址與所述網絡RAID卡進行通信。

6.  一種本地獨立磁盤冗余陣列RAID卡,其特征在于,所述本地RAID卡和網絡RAID卡位于同一局域網中的不同存儲設備中,其中,所述本地RAID卡包括:
讀取單元,用于向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算所述第一本地磁盤的校驗信息的全部數據;
第一校驗信息生成單元,用于按照預先設置的校驗算法對讀取單元讀取的全部數據進行校驗計算,生成第一校驗信息;
第一校驗信息發送單元,用于將第一校驗信息生成單元生成的第一校驗信息發送給所述網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中。

7.  如權利要求6所述的本地RAID卡,其特征在于,所述本地RAID卡 還包括:
第一網絡磁盤確定單元,用于根據預先設置的所述本地磁盤陣列中的本地磁盤和所述網絡磁盤陣列中的網絡磁盤之間的映射關系,確定所述第一本地磁盤對應的第一網絡磁盤;則
所述第一校驗信息發送單元,具體用于:
將第一校驗信息生成單元生成的第一校驗信息和第一網絡磁盤確定單元確定的第一網絡磁盤的標識發送給所述網絡RAID卡,指示所述網絡RAID卡根據所述第一校驗信息對所述第一網絡磁盤進行更新。

8.  如權利要求6所述的本地RAID卡,其特征在于,所述本地RAID卡還包括:
第二網絡磁盤確定單元,用于當所述本地磁盤陣列中的第二本地磁盤存儲的數據損壞時,根據所述映射關系,確定所述第二本地磁盤對應的第二網絡磁盤;
獲取請求發送單元,用于向所述網絡RAID卡發送獲取請求,所述獲取請求中攜帶第二網絡磁盤確定單元確定出的第二網絡磁盤的磁盤標識,以便所述網絡RAID卡能夠從所述第二網絡磁盤中獲取第二校驗信息并發送給所述本地RAID卡;
第二校驗信息接收單元,用于接收所述網絡RAID卡發送的所述第二校驗信息;
恢復單元,用于按照所述校驗算法,對第二校驗信息接收單元接收到的第二校驗信息和預先讀取的與所述第二本地磁盤位于同一帶區的其它本地磁盤中存儲的全部數據進行計算,并利用計算得到的數據對所述第二本地磁盤進行恢復。

9.  如權利要求6~8任一所述的本地RAID卡,其特征在于,所述本地RAID卡還包括:
第一地址變化通知消息發送單元,用于當所述本地RAID卡的IP地址發 生變化時,向所述網絡RAID卡發送第一地址變化通知消息,所述第一地址變化通知消息中攜帶所述本地RAID卡變化后的IP地址,以便所述網絡RAID卡能夠根據所述本地RAID卡變化后的IP地址與所述本地RAID卡進行通信。

10.  如權利要求6~8任一所述的本地RAID卡,其特征在于,所述本地RAID卡還包括:
IP地址存儲單元,用于預先存儲所述網絡RAID卡的IP地址;則
所述本地RAID卡還包括:
第二地址變化通知消息接收單元,用于接收所述網絡RAID卡發送的第二地址變化通知消息,所述第二地址變化通知消息中攜帶所述網絡RAID卡變化后的IP地址;
IP地址更新單元,用于根據第二地址變化通知消息接收單元接收到的所述網絡RAID卡變化后的IP地址,對IP地址存儲單元中預先存儲的所述網絡RAID卡的IP地址進行更新,以便能夠根據所述網絡RAID卡變化后的IP地址與所述網絡RAID卡進行通信。

11.  一種數據處理系統,其特征在于,包括:位于同一局域網中的不同存儲設備中的本地獨立磁盤冗余陣列RAID卡和網絡RAID卡,所述本地RAID卡下掛本地磁盤陣列,所述網絡RAID卡下掛網絡磁盤陣列,其中:
所述本地RAID卡,用于向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算所述第一本地磁盤的校驗信息的全部數據;按照預先設置的校驗算法對讀取的全部數據進行校驗計算,生成第一校驗信息;將所述第一校驗信息發送給所述網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中;
所述網絡RAID卡,用于接收所述第一校驗信息;并將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中。

說明書

說明書一種數據處理方法、裝置和系統
技術領域
本發明涉及業務支撐技術領域,尤其涉及一種數據處理方法、裝置和系統
背景技術
獨立磁盤冗余陣列(Redundant Arrays of Inexpensive Disks,RAID)簡稱磁盤陣列,是由很多價格較便宜的磁盤,組合成一個容量巨大的磁盤組,利用個別磁盤提供數據所產生加成效果提升整個磁盤系統效能。利用這項技術,將數據切割成許多區段,分別存放在各個磁盤上。
除此之外,一般的磁盤陣列都具有數據校驗功能,其中數據校驗功能是在本地數據發生損壞后,利用校驗信息可以使損壞的數據得以恢復,從而保證本地數據的安全性。
目前校驗信息和本地數據都是存儲在本地磁盤中,這樣就會大量浪費本地存儲空間。比如在大規模并行處理計算機(Massive Parallel Processing,MPP)數據庫集群系統中,如果采用四個磁盤的RAID5,那么校驗信息要占總存儲空間的四分之一。如果說需要存放300T的數據,那么本地集群需要有400T的存儲空間。假如說每個磁盤可以存儲1T的數據,那么就需要400個磁盤來滿足要求。但是MPP數據庫同時對磁盤的數量有嚴格的要求,如果說此MPP數據庫超過300個磁盤集群的性能會嚴重下降或者說機柜只能放置300個磁盤,此時400個磁盤的話就不得不采用兩個集群,這樣集群的性能也會造成很嚴重的影響。
發明內容
本發明實施例提供一種數據處理方法、裝置和系統,用以解決現有技術中 本地磁盤陣列的磁盤利用率較低的問題。
本發明實施例采用以下技術方案:
本發明實施例提供了一種數據處理方法,包括:
本地獨立磁盤冗余陣列RAID卡向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算所述第一本地磁盤的校驗信息的全部數據;
按照預先設置的校驗算法對讀取的全部數據進行校驗計算,生成第一校驗信息;
將所述第一校驗信息發送給網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中;其中,所述本地RAID卡和所述網絡RAID卡位于同一局域網中的不同存儲設備中。
可選的,將所述第一校驗信息發送給網絡RAID卡之前,所述方法還包括:
根據預先設置的所述本地磁盤陣列中的本地磁盤和所述網絡磁盤陣列中的網絡磁盤之間的映射關系,確定所述第一本地磁盤對應的第一網絡磁盤;則
將所述第一校驗信息發送給所述網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中,具體包括:
將所述第一校驗信息和所述第一網絡磁盤的標識發送給所述網絡RAID卡,指示所述網絡RAID卡根據所述第一校驗信息對所述第一網絡磁盤進行更新。
可選的,所述方法還包括:
當所述本地磁盤陣列中的第二本地磁盤存儲的數據損壞時,根據所述映射關系,確定所述第二本地磁盤對應的第二網絡磁盤;
向所述網絡RAID卡發送獲取請求,所述獲取請求中攜帶所述第二網絡磁盤的磁盤標識,以便所述網絡RAID卡能夠從所述第二網絡磁盤中獲取第二校驗信息并發送給所述本地RAID卡;
接收所述網絡RAID卡發送的所述第二校驗信息;
按照所述校驗算法,對所述第二校驗信息和預先讀取的用于計算所述第二 本地磁盤對應的校驗信息的全部數據進行計算,并利用計算得到的數據對所述第二本地磁盤進行恢復。
可選的,所述方法還包括:
當所述本地RAID卡的IP地址發生變化時,所述本地RAID卡向所述網絡RAID卡發送第一地址變化通知消息,所述第一地址變化通知消息中攜帶所述本地RAID卡變化后的IP地址,以便所述網絡RAID卡能夠根據所述本地RAID卡變化后的IP地址與所述本地RAID卡進行通信。
可選的,所述本地RAID卡中預先存儲所述網絡RAID卡的IP地址;則
所述方法還包括:
所述本地RAID卡接收所述網絡RAID卡發送的第二地址變化通知消息,所述第二地址變化通知消息中攜帶所述網絡RAID卡變化后的IP地址;
根據所述網絡RAID卡變化后的IP地址,對預先存儲的所述網絡RAID卡的IP地址進行更新,以便能夠根據所述網絡RAID卡變化后的IP地址與所述網絡RAID卡進行通信。
本發明實施例還提供了一種本地獨立磁盤冗余陣列RAID卡,所述本地RAID卡和網絡RAID卡位于同一局域網中的不同存儲設備中,其中,所述本地RAID卡包括:
讀取單元,用于向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算所述第一本地磁盤的校驗信息的全部數據;
第一校驗信息生成單元,用于按照預先設置的校驗算法對讀取單元讀取的全部數據進行校驗計算,生成第一校驗信息;
第一校驗信息發送單元,用于將第一校驗信息生成單元生成的第一校驗信息發送給所述網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中。
可選的,所述本地RAID卡還包括:
第一網絡磁盤確定單元,用于根據預先設置的所述本地磁盤陣列中的本地 磁盤和所述網絡磁盤陣列中的網絡磁盤之間的映射關系,確定所述第一本地磁盤對應的第一網絡磁盤;則
所述第一校驗信息發送單元,具體用于:
將第一校驗信息生成單元生成的第一校驗信息和第一網絡磁盤確定單元確定的第一網絡磁盤的標識發送給所述網絡RAID卡,指示所述網絡RAID卡根據所述第一校驗信息對所述第一網絡磁盤進行更新。
可選的,所述本地RAID卡還包括:
第二網絡磁盤確定單元,用于當所述本地磁盤陣列中的第二本地磁盤存儲的數據損壞時,根據所述映射關系,確定所述第二本地磁盤對應的第二網絡磁盤;
獲取請求發送單元,用于向所述網絡RAID卡發送獲取請求,所述獲取請求中攜帶第二網絡磁盤確定單元確定出的第二網絡磁盤的磁盤標識,以便所述網絡RAID卡能夠從所述第二網絡磁盤中獲取第二校驗信息并發送給所述本地RAID卡;
第二校驗信息接收單元,用于接收所述網絡RAID卡發送的所述第二校驗信息;
恢復單元,用于按照所述校驗算法,對第二校驗信息接收單元接收到的第二校驗信息和預先讀取的與所述第二本地磁盤位于同一帶區的其它本地磁盤中存儲的全部數據進行計算,并利用計算得到的數據對所述第二本地磁盤進行恢復。
可選的,所述本地RAID卡還包括:
第一地址變化通知消息發送單元,用于當所述本地RAID卡的IP地址發生變化時,向所述網絡RAID卡發送第一地址變化通知消息,所述第一地址變化通知消息中攜帶所述本地RAID卡變化后的IP地址,以便所述網絡RAID卡能夠根據所述本地RAID卡變化后的IP地址與所述本地RAID卡進行通信。
可選的,所述本地RAID卡還包括:
IP地址存儲單元,用于預先存儲所述網絡RAID卡的IP地址;則
所述本地RAID卡還包括:
第二地址變化通知消息接收單元,用于接收所述網絡RAID卡發送的第二地址變化通知消息,所述第二地址變化通知消息中攜帶所述網絡RAID卡變化后的IP地址;
IP地址更新單元,用于根據第二地址變化通知消息接收單元接收到的所述網絡RAID卡變化后的IP地址,對IP地址存儲單元中預先存儲的所述網絡RAID卡的IP地址進行更新,以便能夠根據所述網絡RAID卡變化后的IP地址與所述網絡RAID卡進行通信。
本發明實施例還提供了一種數據處理系統,包括:位于同一局域網中的不同存儲設備中的本地獨立磁盤冗余陣列RAID卡和網絡RAID卡,所述本地RAID卡下掛本地磁盤陣列,所述網絡RAID卡下掛網絡磁盤陣列,其中:
所述本地RAID卡,用于向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算所述第一本地磁盤的校驗信息的全部數據;按照預先設置的校驗算法對讀取的全部數據進行校驗計算,生成第一校驗信息;將所述第一校驗信息發送給所述網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中;
所述網絡RAID卡,用于接收所述第一校驗信息;并將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中。
本發明實施例的有益效果如下:
本技術方案與現有技術相比,不再是將本地數據和校驗信息同時存儲在本地磁盤中,而是將校驗信息存儲在與本地磁盤位于同一局域網的網絡磁盤上,使得本地磁盤全都用來存儲本地數據,從而大大減少了本地存儲空間的浪費,最大限度的提高了本地磁盤的利用率。
附圖說明
圖1為本發明實施例提供的一種數據處理方法的實現流程圖;
圖2為本發明實施例提供的一種數據恢復方法的具體實現流程圖;
圖3為本發明實施例提供的用于實現數據處理方法的系統架構圖;
圖4為本發明實施例提供的一種本地RAID卡的結構示意圖;
圖5為本發明實施例提供的一種數據處理系統的系統架構圖。
具體實施方式
為了解決現有技術中用于存儲本地數據的本地磁盤陣列的磁盤利用率較低的問題,本發明實施例提出了一種數據處理方案。該技術方案與現有技術相比,不再是將本地數據和校驗信息同時存儲在本地磁盤中,而是將校驗信息存儲在與本地磁盤位于同一局域網的網絡磁盤上,使得本地磁盤全都用來存儲本地數據,從而大大減少了本地存儲空間的浪費,最大限度的提高了本地磁盤的利用率。
以下結合說明書附圖對本發明的實施例進行說明,應當理解,此處所描述的實施例僅用于說明和解釋本發明,并不用于限制本發明。并且在不沖突的情況下,本發明中的實施例及實施例的特征可以互相結合。
本發明實施例中提供了一種數據處理方法,如圖1所示,為該方法的實現流程圖,該方法具體包括下述步驟:
步驟11,本地RAID卡向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算第一本地磁盤的校驗信息的全部數據;
本發明實施例中,第一本地磁盤可以指本地RAID卡下掛的本地磁盤陣列中的任意一個磁盤。
其中,用于計算第一本地磁盤的校驗信息的全部數據,指的是第一本地磁盤存儲的全部數據,以及與第一本地磁盤位于同一帶區的其它本地磁盤存儲的全部數據。
本地磁盤陣列中位于同一帶區的本地磁盤可以是用戶根據自身需求預先 設置的。
步驟12,本地RAID卡按照預先設置的校驗算法對讀取的全部數據進行校驗計算,生成第一校驗信息;
步驟13,將生成的第一校驗信息發送給網絡RAID卡,指示網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中;
其中,本地RAID卡和網絡RAID卡位于同一局域網中的不同存儲設備中,也就是說,本地RAID卡和網絡RAID卡的網際協議IP地址不同,而本地RAID卡和網絡RAID卡為了能夠實現通信,需要預先存儲對方的IP地址。
那么當本地RAID卡的IP地址發生變化時,本地RAID卡可以向網絡RAID卡發送第一地址變化通知消息,該第一地址變化通知消息中攜帶本地RAID卡變化后的IP地址,以便網絡RAID卡能夠根據本地RAID卡變化后的IP地址對預先存儲的本地RAID卡的IP地址進行更新,以實現與本地RAID卡的通信;
同理,當網絡RAID卡的IP地址發生變化時,網絡RAID卡同樣會將變化后的IP地址通知給本地RAID卡,此時本地RAID卡接收網絡RAID卡發送的第二地址變化通知消息,該第二地址變化通知消息中攜帶網絡RAID卡變化后的IP地址,再根據網絡RAID卡變化后的IP地址,對預先存儲的網絡RAID卡的IP地址進行更新,以便能夠根據網絡RAID卡變化后的IP地址與網絡RAID卡實現通信。
可選的,在執行步驟13之前,該方法還可以包括:
根據預先設置的本地磁盤陣列中的本地磁盤和網絡磁盤陣列中的網絡磁盤之間的映射關系,確定第一本地磁盤對應的第一網絡磁盤。
具體的,確定第一本地磁盤對應的第一網絡磁盤可以為:確定第一本地磁盤和與第一本地磁盤位于同一帶區的其它本地磁盤共同對應的第一網絡磁盤。
在這種情況下,步驟13可以具體包括:
將生成的第一校驗信息和第一網絡磁盤的標識發送給網絡RAID卡,指示網絡RAID卡根據生成的第一校驗信息對確定出的第一網絡磁盤進行更新。
其中,無論是本地磁盤陣列中的本地磁盤,還是網絡磁盤陣列中的網絡磁盤,一般都是通過磁盤標識來加以區分的,因此本發明實施例中的映射關系也是通過磁盤標識來表現的,因此上述所謂的確定第一網絡磁盤,就是確定這個第一網絡磁盤的磁盤標識。
進一步的,當本地磁盤陣列中的第二本地磁盤存儲的數據出現損壞時,可以利用上述映射關系,確定出第二本地磁盤對應的第二網絡磁盤,并利用第二網絡磁盤中存儲的第二校驗信息使損壞的數據得以恢復,以保障第二本地磁盤中數據的安全性。
需要說明的是,本發明實施例中的第一本地磁盤和第二本地磁盤可以為同一本地磁盤,也可以是不同的本地磁盤。具體的數據恢復過程在后續實施例中會詳細介紹,在此不再贅述。
本發明實施例與現有技術相比,不再是將本地數據和校驗信息同時存儲在本地磁盤中,而是將校驗信息存儲在與本地磁盤位于同一局域網的網絡磁盤上,使得本地磁盤全都用來存儲本地數據,從而大大減少了本地存儲空間的浪費,最大限度的提高了本地磁盤的利用率。
還需要說明的是,本發明實施例中,本地RAID卡下掛的本地磁盤陣列中的本地磁盤可以使用性能較高的磁盤,只存儲本地數據,以保證數據傳輸速度;另外,由于本技術方案中對網絡RAID卡下掛的網絡磁盤陣列中的網絡磁盤的磁盤空間的要求不是很嚴格,可以按照最小的磁盤空間來操作,因此本發明實施例中的網絡磁盤可以采用低性能的磁盤,這樣便可以降低由于采用局域網技術而造成的資金投入增大的影響。
下面以第一本地磁盤和第二本地磁盤為同一本地磁盤為例,對本發明實施例提供的數據恢復過程進行詳細介紹。當第一本地磁盤和第二本地磁盤為同一本地磁盤時,第一網絡磁盤和第二網絡磁盤為同一網絡磁盤,第一校驗信息和第二校驗信息也為同一校驗信息。為了方便說明,下述實施例中將第一本地磁盤和第二本地磁盤統一稱為第一本地磁盤,第一網絡磁盤和第二網絡磁盤統一 稱為第一網絡磁盤,第一校驗信息和第二校驗信息統稱為第一校驗信息
如圖2所示,為本發明實施例提供的一種數據恢復方法的具體實現流程圖。該方法包括下述步驟:
步驟21,本地RAID卡向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取第一本地磁盤存儲的全部數據,以及與第一本地磁盤位于同一帶區的其它本地磁盤存儲的全部數據;
步驟22,本地RAID卡按照預先設置的校驗算法對讀取的全部數據進行校驗計算,生成第一校驗信息;
步驟23,本地RAID卡根據預先設置的本地磁盤陣列中的本地磁盤和網絡RAID卡下掛的網絡磁盤陣列中的網絡磁盤之間的映射關系,確定第一本地磁盤和與第一本地磁盤位于同一帶區的其它本地磁盤共同對應的第一網絡磁盤;
其中,本地RAID卡和網絡RAID卡位于同一局域網中的不同存儲設備中。
步驟24,本地RAID卡向網絡RAID卡發送更新請求,該更新請求中攜帶第一校驗信息和第一網絡磁盤的磁盤標識,以便網絡RAID卡能夠根據第一校驗信息對第一網絡磁盤進行更新。
上述步驟21至步驟24與上述實施例的實現過程相同,在此不再贅述。
步驟25,當第一本地磁盤存儲的數據損壞時,本地RAID卡根據上述映射關系,確定第一網絡磁盤;
步驟26,本地RAID卡根據預先存儲的網絡RAID卡的IP地址,向網絡RAID卡發送獲取請求,該獲取請求中攜帶第一網絡磁盤的磁盤標識,以便網絡RAID卡能夠從第一網絡磁盤中讀取第一校驗信息;
步驟27,本地RAID卡接收網絡RAID卡發送的第一校驗信息;
步驟28,本地RAID卡按照上述校驗算法,對第一校驗信息和預先讀取的與第一本地磁盤位于同一帶區的其它本地磁盤中存儲的全部數據進行計算,并利用計算得到的數據對第一本地磁盤進行恢復。
為了實現上述的數據處理方法,本發明實施例結合磁盤陣列冗余技術和局 域網技術,對現有的數據處理系統的架構進行了改進,如圖3所示,為本發明實施例提供的用于實現數據處理方法的系統架構圖。其中,本地RAID卡和其下掛的本地磁盤陣列所在的存儲設備與網絡RAID卡和其下掛的網絡磁盤陣列所在存儲設備位于通過萬兆網相連的同一局域網中,并且本地RAID卡可以通過總線與下掛的本地磁盤陣列中的各本地磁盤連接,網絡RAID卡可以通過總線與下掛的網絡磁盤陣列中的各網絡磁盤連接(圖3中并未畫出)。
參考圖3,本地磁盤陣列中包含磁盤A1-A3,B1-B3,C1-C3和D1-D3,網絡磁盤陣列中包含Ap、Bp、Cp和Dp,并且位于同一帶區的A1-A3共同對應Ap,位于同一帶區的B1-B3共同對應Bp,位于同一帶區的C1-C3共同對應Cp,位于同一帶區的D1-D3共同對應Dp。
下面對該數據處理方法中涉及到的兩個概念進行闡述:
1、校驗信息
當本地數據一旦發生損壞時,校驗信息可以使損壞的本地數據得以恢復,以保障本地數據的安全性。如圖3所示的系統架構,當本地數據出現損壞時,本地RAID卡通過網絡側的校驗信息便可以得到本地數據,不會影響到系統的運行,保證了本地數據的安全。當損壞的磁盤被替換后,系統會自動利用校驗信息去重建此磁盤上的數據,來保持高可靠性。網絡側的Ap存儲A1、A2和A3的校驗信息,Bp存儲B1、B2和B3的校驗信息,Cp存儲C1、C2和C3的校驗信息,以此類推。因為Ap中的校驗信息是根據對應的A1、A2和A3中存儲的本地數據計算得出的,因此Ap、A1、A2和A3中有任意一塊出現問題時,都可以通過其余的三塊進行恢復。
2、RAID卡
RAID卡是用來實現RAID功能的板卡,通常是由I/O處理器、磁盤控制器、磁盤連接器和緩存Cache等一系列零組件構成的。對于I/O處理器來說,如果沒有Cache,就直接從磁盤讀寫;如果有Cache,則首先從Cache讀寫。為了提高磁盤的讀寫性能,此系統中的RAID卡使用了Cache。由于校驗信息 存在同一個磁盤上,當系統連續讀/寫數據的時候會造成I/O瓶頸,采用Cache會降低此情況的影響,降低硬盤讀/寫操作的平均訪時間并提高了吞吐率。
由于本發明實施例中的校驗信息存儲在網絡磁盤中,因此需要本地RAID卡和網絡RAID卡分別記錄兩邊磁盤的映射關系。又由于該映射關系的存儲是跨網絡的,因此本地RAID卡和網絡RAID卡都應配備網絡功能(不局限于網卡)。
當本地磁盤寫入數據的時候,本地RAID卡會把計算得到的校驗信息分發給網絡RAID卡下掛的相應的網絡磁盤中,實現了網絡磁盤和本地磁盤之間的映射,而整個過程對于操作系統來說是透明的。當一方IP地址發生改變時,可以通過萬兆網自動通知對方。
下面對在如圖3所示的系統架構下的寫數據過程和讀數據過程分別進行闡述。
1、寫數據過程
在向本地磁盤寫入數據的時候,同時向對應的網絡磁盤中寫入計算出來的校驗信息。比如本地RAID卡向A3中寫入新的數據后,首先需要讀出A3中存儲的全部數據,以及與A3處于同一帶區的A1和A2中存儲的全部數據,然后根據預先設置的校驗算法,計算得到校驗信息,同時根據預先設置的映射關系確定與A1、A2和A3共同對應的Ap,再將計算得到的校驗信息通過萬兆網發送給網絡RAID卡,由網絡RAID卡將接收到的校驗信息寫入Ap中,完成一次寫操作。
本發明實施例中的RAID卡(包括本地RAID卡和網絡RAID卡)采用回寫(Write Back)的寫策略。也就是說通過暫時將數據存在Cache里,從而推遲將數據寫到磁盤中的一種工作方式。數據將在隨后的時間,磁盤閑置的時候寫入。寫的時候也是統一將Cache內的尚未寫出的數據按照RAID卡中的規則寫入對應的存儲中,這樣可以提高寫的效率。發生機器意外斷電、網絡突然斷網或者RIAD卡意外損壞的時候,如果此時RAID卡的Cache中還有未來得及 寫入磁盤的數據,此時的數據就有丟失的可能。為了防止這種情況的發生,需要給RAID卡配備一塊后備電池,當異常的情況被解決后,此時RAID卡可以重新將Cache中的數據寫入磁盤。
2、讀數據過程
為了提高讀數據的效率,RAID卡(包括本地RAID卡和網絡RAID卡)可以直接從Cache中讀出,而不是從磁盤上讀取,減少磁盤的讀操作次數,這樣比較充分地利用了磁盤帶寬。這樣Cache和磁盤陣列技術的結合,彌補了磁盤陣列的不足(如分塊寫請求響應差等缺陷),從而使整個系統成為一個高效、快速、大容量、高可靠以及靈活、方便的存儲系統。
由于磁盤數據經常是以一組連續的磁盤扇區組織起來的,所以有時侯如把系統所請求的扇區隨后的一個扇區里的數據同時讀進來是有價值的。因此本發明實施例中的RAID卡可以采用預讀(Read Ahead)方式。
本地RAID卡讀數據的時候,如果本地磁盤沒有損壞,則不會有什么變化,如果讀取的本地磁盤損壞,則必須同時讀取同一帶區中的所有其它本地磁盤中存儲的全部數據,并根據本地RAID卡中記錄的映射關系找到網絡上對應的網絡磁盤中存儲的校驗信息,以重新建立此塊本地磁盤,恢復丟失的數據,實現遠程校驗功能。比如說B1中的本地數據發生了損壞,此時需要讀取出同一帶區的B2和B3,并根據記錄的映射關系確定出Bp,并獲取Bp中存儲的校驗信息,然后根據這三塊磁盤上的信息計算出丟失的數據,并重新寫入B1。
本發明實施例與現有技術相比,不再是將本地數據和校驗信息同時存儲在本地磁盤中,而是將校驗信息存儲在與本地磁盤位于同一局域網的網絡磁盤上,使得本地磁盤全都用來存儲本地數據,因此本地存儲空間的利用率可以接近100%,這是現有技術中所不能達到的,從而大大減少了本地存儲空間的浪費,最大限度的提高了本地磁盤的利用率。
基于上述提供的數據處理方法,本發明實施例還提供了一種本地RAID卡,如圖4所示,為該本地RAID卡的結構示意圖,其中所述本地RAID卡和網絡 RAID卡位于同一局域網中的不同存儲設備中,該本地RAID卡包括:
讀取單元41,用于向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算所述第一本地磁盤的校驗信息的的全部數據;
第一校驗信息生成單元42,用于按照預先設置的校驗算法對讀取單元41讀取的全部數據進行校驗計算,生成第一校驗信息;
第一校驗信息發送單元43,用于將第一校驗信息生成單元42生成的第一校驗信息發送給所述網絡RAID卡,指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中。
可選的,所述本地RAID卡哈可以包括:
第一網絡磁盤確定單元44,用于根據預先設置的所述本地磁盤陣列中的本地磁盤和所述網絡磁盤陣列中的網絡磁盤之間的映射關系,確定所述第一本地磁盤對應的第一網絡磁盤;則
所述第一校驗信息發送單元43,具體用于:
將第一校驗信息生成單元42生成的第一校驗信息和第一網絡磁盤確定單元44確定的第一網絡磁盤的標識發送給所述網絡RAID卡,指示所述網絡RAID卡根據所述第一校驗信息對所述第一網絡磁盤進行更新。
可選的,所述本地RAID卡還可以包括:
第二網絡磁盤確定單元45,用于當所述本地磁盤陣列中的第二本地磁盤存儲的數據損壞時,根據所述映射關系,確定所述第二本地磁盤對應的第二網絡磁盤;
獲取請求發送單元46,用于向所述網絡RAID卡發送獲取請求,所述獲取請求中攜帶第二網絡磁盤確定單元45確定出的第二網絡磁盤的磁盤標識,以便所述網絡RAID卡能夠從所述第二網絡磁盤中獲取第二校驗信息并發送給所述本地RAID卡;
第二校驗信息接收單元47,用于接收所述網絡RAID卡發送的所述第二校驗信息;
恢復單元48,用于按照所述校驗算法,對第二校驗信息接收單元47接收到的第二校驗信息和預先讀取的與所述第二本地磁盤位于同一帶區的其它本地磁盤中存儲的全部數據進行計算,并利用計算得到的數據對所述第二本地磁盤進行恢復。
可選的,所述本地RAID卡還可以包括:
第一地址變化通知消息發送單元49,用于當所述本地RAID卡的IP地址發生變化時,向所述網絡RAID卡發送第一地址變化通知消息,所述第一地址變化通知消息中攜帶所述本地RAID卡變化后的IP地址,以便所述網絡RAID卡能夠根據所述本地RAID卡變化后的IP地址與所述本地RAID卡進行通信。
可選的,所述本地RAID卡還可以包括:
IP地址存儲單元410,用于預先存儲所述網絡RAID卡的IP地址;則
所述本地RAID卡還可以包括:
第二地址變化通知消息接收單元411,用于接收所述網絡RAID卡發送的第二地址變化通知消息,所述第二地址變化通知消息中攜帶所述網絡RAID卡變化后的IP地址;
IP地址更新單元412,用于根據第二地址變化通知消息接收單元接收到的所述網絡RAID卡變化后的IP地址,對IP地址存儲單元410中預先存儲的所述網絡RAID卡的IP地址進行更新,以便能夠根據所述網絡RAID卡變化后的IP地址與所述網絡RAID卡進行通信。
基于上述提供的數據處理方法,本發明實施例還提供了一種數據處理系統,如圖5所示,為該數據處理系統的結構示意圖,其包括:
位于同一局域網中的不同存儲設備中的本地RAID卡51和網絡RAID卡52,所述本地RAID卡51下掛本地磁盤陣列,所述網絡RAID卡52下掛網絡磁盤陣列,其中:
所述本地RAID卡51,用于用于向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后,讀取用于計算所述第一本地磁盤的校驗信息的全部數據;按照預 先設置的校驗算法對讀取的全部數據進行校驗計算,生成第一校驗信息;將所述第一校驗信息發送給所述網絡RAID卡52,指示所述網絡RAID卡52將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中;
所述網絡RAID卡52,用于接收所述第一校驗信息;并將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中。
可選的,所述本地RAID卡51還用于:
當所述本地磁盤陣列中的第二本地磁盤存儲的數據損壞時,根據所述映射關系,確定所述第二本地磁盤對應的第二網絡磁盤;向所述網絡RAID卡52發送獲取請求,所述獲取請求中攜帶所述第二網絡磁盤的磁盤標識;并接收所述網絡RAID卡52發送的第二校驗信息;按照所述校驗算法對所述第二校驗信息和預先讀取的用于計算所述第二本地磁盤對應的校驗信息的全部數據進行計算,并利用計算得到的數據對所述第二本地磁盤進行恢復;
所述網絡RAID卡52還用于:
接收所述獲取請求;根據所述獲取請求中攜帶的所述第二網絡磁盤的磁盤標識,從所述第二網絡磁盤中讀取第二校驗信息;并將所述第二校驗信息發送給所述本地RAID卡51。
本領域內的技術人員應明白,本發明的實施例可提供為方法、系統、或計算機程序產品。因此,本發明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且,本發明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產品的形式。
本發明是參照根據本發明實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器,使得通過計算 機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品,該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上,使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理,從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
盡管已描述了本發明的優選實施例,但本領域內的技術人員一旦得知了基本創造性概念,則可對這些實施例作出另外的變更和修改。所以,所附權利要求意欲解釋為包括優選實施例以及落入本發明范圍的所有變更和修改。
顯然,本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍。這樣,倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍之內,則本發明也意圖包含這些改動和變型在內。

關 鍵 詞:
一種 數據處理 方法 裝置 系統
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種數據處理方法、裝置和系統.pdf
鏈接地址:http://www.wwszu.club/p-6401413.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大