鬼佬大哥大
  • / 11
  • 下載費用:30 金幣  

集群計算系統.pdf

關 鍵 詞:
集群 計算 系統
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
摘要
申請專利號:

CN201110110793.9

申請日:

2011.04.29

公開號:

CN102761578B

公開日:

2015.01.14

當前法律狀態:

有效性:

法律詳情: 授權|||實質審查的生效IPC(主分類):H04L 29/08申請日:20110429|||公開
IPC分類號: H04L29/08 主分類號: H04L29/08
申請人: 無錫江南計算技術研究所
發明人: 謝向輝; 吳東; 方興; 原昊; 錢磊; 張魯飛; 馬文濤; 王宇
地址: 214083 江蘇省無錫市濱湖區軍東新村030號
優先權:
專利代理機構: 北京集佳知識產權代理有限公司 11227 代理人: 駱蘇華
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201110110793.9

授權公告號:

102761578B||||||

法律狀態公告日:

2015.01.14|||2012.12.26|||2012.10.31

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明提供了一種集群計算系統,包括通過網絡互連的計算節點集群,所述計算節點包括嵌入式處理器、嵌入式DRAM、非易失性存儲器陣列,還包括擴展計算部件以及電源管理模塊;所述嵌入式處理器提供整數計算能力;所述擴展計算部件與嵌入式處理器相集成,并根據計算應用領域定制專項計算能力,輔助嵌入式處理器進行數據處理;所述嵌入式DRAM通過處理器直連接口與嵌入式處理器連接,作為處理器緩存;所述非易失性存儲器陣列用于永久性存儲數據;所述電源管理模塊用于對計算節點供電,并根據嵌入式處理器的負載情況調整對嵌入式處理器的供電功率。本發明集群計算系統具有較低的功耗以及較強的計算能力。

權利要求書

1.一種集群計算系統,其特征在于,包括通過網絡互連的計算節點集群,所
述計算節點包括嵌入式處理器、嵌入式DRAM、非易失性存儲器陣列,還
包括擴展計算部件以及電源管理模塊;所述嵌入式處理器提供整數計算能
力;所述擴展計算部件與嵌入式處理器相集成,并根據計算應用領域定制
專項計算能力,輔助嵌入式處理器進行數據處理;所述嵌入式DRAM通過
處理器直連接口與嵌入式處理器連接,作為處理器緩存;所述非易失性存
儲器陣列用于永久性存儲數據;所述電源管理模塊用于對計算節點供電,
并根據嵌入式處理器的負載情況調整對嵌入式處理器的供電功率。
2.如權利要求1所述的計算系統,其特征在于,所述嵌入式處理器具有可配
置接口;根據所述集群計算系統的應用領域,通過所述可配置接口對所述
嵌入式處理器定制指令集以及進行流水線優化。
3.如權利要求2所述的計算系統,其特征在于,所述擴展計算部件包括向量
部件以及專用加速部件。
4.如權利要求1所述的計算系統,其特征在于,所述計算節點的非易失性存
儲器陣列為FLASH存儲器陣列。
5.如權利要求1所述的計算系統,其特征在于,所述計算節點還包括無線通
信模塊,用于計算節點的嵌入式處理器對外進行無線數據通信。
6.如權利要求5所述的計算系統,其特征在于,所述集群計算系統還包括管
理節點以及多層交換機網絡;所述各計算節點通過無線通信模塊與底層交
換機建立無線連接;所述管理節點,與頂層交換機相連,面向外部用于提
供數據計算服務,同時管理各計算節點與底層交換機的無線連接。
7.如權利要求6所述的計算系統,其特征在于,所述多層交換機網絡中,若
干底層交換機以及多個計算節點組建成機柜;所述計算節點通過所述無線
通信模塊與同一機柜中的任意一個交換機構成動態連接。
8.如權利要求6所述的計算系統,其特征在于,各層交換機網絡間為有線連
接。

說明書

集群計算系統

技術領域

本發明涉及高性能集群計算系統,特別設計一種高組裝密度和低功耗的
集群計算系統。

背景技術

隨著工業、科研等領域對并行運算需求不斷增長,集群系統在高性能計
算機中所占的比例越來越大,應用范圍越來越廣。采用商用器件構造的集群
計算系統采用標準化的商用器件構建而成,具有研制成本低、周期短的特點。
為中等規模的高性能計算提高了很好的支持,具有較高的性價比。

傳統的集群計算系統采用高性能通用處理器,DRAM存儲器以及高帶寬
互連網絡和磁盤/固態存儲器陣列作為構建集群的基本元件,以獲得相應的高
計算能力。圖1示出了現有的高性能集群計算系統的結構。包括有多層交換機
組成的交換路由網絡以及與底層交換機連接的多個計算節點以及存儲節點。
其中,交換機以及計算節點、存儲節點之間通過Infiniband或千兆以太網等高
帶寬網絡進行連接。各計算節點由多個高性能通用處理器、DRAM存儲器、I/O
控制器、節點控制器以及互連網絡接口組成;而存儲節點包括存儲控制器以
及與之連接的磁盤陣列;集群計算系統的計算以及存儲操作是相互分離的。
所述通用處理器在高工作頻率下,以雙精度浮點計算能力作為主要的性能衡
量指標,并且需要足夠的主存訪問(計算節點訪問存儲節點)帶寬、通信網
絡帶寬與其計算能力相匹配。處理器功耗將隨著運行速度呈現超線性的增長,
即隨著工作頻率升高一倍,處理器將產生加倍的能耗,同時需要采用更多技
術以屏蔽處理器-主存瓶頸和處理器-通信延遲瓶頸,導致能效的下降。

綜上所述,為了獲得更快的運算能力,現有的集群計算系統需要付出更
多的能耗以及設備成本,使得性能的提升愈發困難。如何在提升運算能力的
前提下,提高集群計算系統的能效和性價比,成為構建集群計算系統時亟待
解決的問題。

目前,針對數據庫特別是關系數據庫應用等I/O密集而非計算密集型的應
用,出現了一些新的高性能和高性價比的集群計算系統。上述應用對單個計
算節點的計算能力要求并不高,但需要高速的I/O傳輸能力。這些高性能以及
性價比的集群計算系統功耗相當于傳統集群的十分之一,在剛好滿足容量、
可用性、吞吐率和延遲方面的需求下,盡可能提高I/O傳輸能力,以獲得較高
效能。這類系統的特點是將低功耗通用處理器、FLASH存儲器和以數據為中
心的編程系統結合在一起,在降低功耗的同時提升以數據為中心的應用性能
并提升數據訪問的吞吐率。但是,這一類集群計算系統采用的處理器為了適
應多種類型的計算需求,仍然以x86架構的通用處理器為主,計算能力較弱,
難以同時適應更為廣泛的整數運算密集型的高性能計算需求。

發明內容

本發明解決的問題是提供一種的集群式計算系統,具有高性能計算能力
以及較低的系統功耗。

為解決上述問題,本發明提供了一種集群計算系統,包括通過網絡互連
的計算節點集群,所述計算節點包括嵌入式處理器、嵌入式DRAM、非易失
性存儲器陣列,還包括擴展計算部件以及電源管理模塊;所述嵌入式處理器
提供整數計算能力;所述擴展計算部件與嵌入式處理器相集成,并根據計算
應用領域定制專項計算能力,輔助嵌入式處理器進行數據處理;所述嵌入式
DRAM通過處理器直連接口與嵌入式處理器連接,作為處理器緩存;所述非
易失性存儲器陣列用于永久性存儲數據;所述電源管理模塊用于對計算節點
供電,并根據嵌入式處理器的負載情況調整對嵌入式處理器的供電功率。

可選的,所述嵌入式處理器具有可配置接口,根據所述集群計算系統的
應用領域,通過所述可配置接口對所述嵌入式處理器定制指令集以及進行流
水線優化。所述擴展計算部件包括向量部件以及專用加速部件。所述計算節
點的非易失性存儲器陣列為FLASH存儲器陣列。

可選的,所述計算節點還包括無線通信模塊,用于計算節點的嵌入式處
理器對外進行無線數據通信。所述集群計算系統還包括管理節點以及多層交
換機網絡;所述各計算節點通過無線通信模塊與底層交換機建立無線連接;
所述管理節點,與頂層交換機相連,面向外部用于提供數據計算服務,同時
管理各計算節點與底層交換機的無線連接。所述多層交換機網絡中,若干底
層交換機以及多個計算節點組建成機柜;所述計算節點通過所述無線通信模
塊與同一機柜中的任意一個交換機構成動態連接。各層交換機網絡間為有線
連接。

與現有技術相比,本發明具有以下優點:將非易失性存儲器件集成于計
算節點中,同時采用低功耗的嵌入式處理器提供較強的整數計算能力,并根
據計算應用領域定制擴展計算部件輔助嵌入式處理器進行數據處理,使得計
算節點獲得較強的計算性能,此外使用電源管理模塊根據嵌入式處理器的負
載情況調整供電功率,節省系統功耗。本發明在較低的系統功耗下實現足夠
的計算能力,獲取較高的能效以及性價比。

附圖說明

圖1是現有的高性能集群計算系統的架構示意圖;

圖2是本發明所述集群計算系統中計算節點的架構示意圖;

圖3是本發明所述集群計算系統的架構示意圖;

圖4是本發明集群計算系統重構底層網絡拓撲結構的示意圖;

圖5是本發明集群計算系統具體實施例的實施架構示意圖;

圖6是本發明集群計算系統的并行執行軟件的架構示意圖。

具體實施方式

如背景技術所述,現有的集群計算系統中,計算節點采用高性能通用處
理器,雖然具有較強的浮點運算能力,但在很多I/O密集而非計算密集型的應
用領域中,難以發揮其計算性能,反而凸顯了在功耗以及能效上的劣勢。需
要付出更多的能耗以及設備成本才能提升有限的性能。

本發明則提供了一種集群計算系統,通過增強計算節點的專項計算能力,
提高計算組裝密度,在滿足足夠的計算能力的前提下,將浪費在單個計算節
點上的設備資源用于擴展集群規模以開發更多層次的并行性,提升集群計算
的能效,從而實現規模效應。即盡可能的提高I/O吞吐率與功耗的比值,提升
集群計算系統的性價比。

具體的,本發明所述集群計算系統,包括通過網絡互連的計算節點集群,
如圖3所示,所述計算節點包括:嵌入式處理器、擴展計算部件、嵌入式DRAM、
非易失性存儲器陣列以及電源管理模塊;所述嵌入式處理器提供整數計算能
力;所述擴展計算部件與嵌入式處理器相集成,并根據計算應用領域定制專
項計算能力,輔助嵌入式處理器進行數據處理;所述嵌入式DRAM通過處理
器直連接口與嵌入式處理器連接,作為處理器緩存;所述非易失性存儲器陣
列用于永久性存儲數據,便于嵌入式處理器調用或存儲;所述電源管理模塊
用于對計算節點供電,并根據嵌入式處理器的負載情況調整供電功率。

其中,所述嵌入式處理器具有可配置性以及可擴展性,為頂層操作系統
提供多個級別的特權操作指令支持,能夠針對集群計算系統的應用領域,通
過定制指令集以及進行流水線優化,提升相應的計算能力。在I/O密集型應用
領域中,例如網絡數據服務、數據庫存儲服務、數據分塊服務等,并不需要
強大復雜的浮點計算能力,因此通用處理器的浮點運算能力得不到充分發揮,
還占用功耗。嵌入式處理器一方面功耗較低,另一方面具有強大的整數計算
能力,并可以通過上述定制配置提供相當于通用處理器10~100倍以上的整數
操作能效。另外嵌入式處理器還可以通過集成輔助的擴展計算部件進行數據
處理,獲得專項計算能力的提升,例如集成向量部件或者專用加速部件以適
應特定的計算應用。嵌入式DRAM是為適應嵌入式處理器而制作的高頻率存
儲器,通過直連接口與嵌入式處理器連接,在處理器工作中起緩存的作用。

在I/O密集型的應用領域中,計算節點并不需要強大的本地存儲能力,而
對訪問帶寬有更高要求。因此可以采用諸如FLASH存儲器構成高密度非易失
性存儲器陣列,所述非易失性存儲器陣列相較于傳統計算節點所采用的磁盤
具有更低的功耗,更高的集成度,更大的訪問帶寬以及更快的讀取速度。

所述電源管理模塊用于對計算節點供電,例如提供嵌入式處理器的工作
電源等。由于每個計算節點均有獨立的電源管理模塊,因此在集群計算系統
中,能夠根據系統的工作負載情況,調節各計算節點的供電量,以適應計算
節點的不同功耗。例如,進行小負載計算時,未參與應用的計算節點,其嵌
入式處理器的負載極低,電源管理模塊可以停止或僅保持最低標準的電源供
應,靈活地進行供電的分配,從而從整體上降低系統功耗,提高集成計算系
統的能效。

作為可選方案,本發明計算節點還可以包括無線通信模塊,用于計算節
點的嵌入式處理器對外進行無線數據通信。

在一個具體實施例中,以圖形數據處理應用領域為例,所述計算節點包
括增強的嵌入式處理器、嵌入式DRAM以及FLASH存儲器陣列、無線通信
模塊、電源管理模塊。其中,嵌入式處理器采用TI公司的Omap3530處理器,
包括一個集成了向量部件的Cortex?A8體系結構的arm處理器核、一個C64+
數字信號處理器和一個嵌入式圖形處理器以及專用圖形加速器等計算部件,
提供了嵌入式DRAM接口,工作頻率在600MHz左右,具有強大的16bit和
32bit整數處理能力,以及直接連接DRAM的功能,最大程度上滿足圖形處理
需求,消除對額外硬件依賴,改善性能/功耗比。所述FLASH存儲器采用4~8G
的SD存儲卡,無線通信模塊采用802.11n雙天線/四天線標準,能夠提供數百
Mbps的通信帶寬,足以滿足計算節點的數據通信。上述計算節點在Linpack
等軟件負載下,滿功率功耗僅在1瓦左右。遠小于現有高性能集群計算系統
采用xeon等x86架構處理器構建的計算節點動輒幾十上百瓦的功耗。

本發明集群計算系統中,計算節點依靠無線通信模塊進行與外界的數據
通信而實現網絡互連。如圖3所示,所述集群計算系統可以采用多層交換機
構成互連網絡,各層交換機之間為有線網絡連接,以滿足交換機層之間的大
通信帶寬的需求,而底層交換機與計算節點之間為無線網絡。基于上述特征,
交換機層之間的網絡拓撲結構是固定的,而計算節點則能夠通過切換與底層
交換機的無線連接,實現動態的網絡拓撲結構。

進一步的,本發明集群計算系統還應當包括與頂層交換機連接的管理節
點,用于面向外部提供數據計算服務,同時管理各計算節點與底層交換機的
無線連接。

交換機層之間為有線連接,這是由集群計算系統的數據流在上層交換機
間匯集而需要較大通信帶寬的特性所決定的;底層交換機與計算節點之間為
動態的無線連接,一方面針對單個計算節點,其數據流量有限,無線網絡完
全能夠滿足其通信帶寬的需求,而為了降低設備成本以及系統功耗,無線通
信的帶寬與計算節點的計算能力相匹配即可;另一方面,如圖4所示,采用
動態的無線網絡拓撲結構后,管理節點根據具體的計算應用任務中,各計算
節點之間的數據通信特點,切換計算節點與底層交換機的無線連接,重構底
層無線網絡拓撲結構,從而使得計算節點之間的數據通信跳步數盡可能的為1
(即兩個計算節點間的數據傳輸僅經過一次交換機),可以大幅度降低通信延
遲,提高整個集群計算系統的I/O吞吐率。

如圖5所示,在一個具體實施例中,本發明集群計算系統的互連網絡通
常集中在本地配置(所有的交換機以及計算節點位于同一安裝地點)或部分
異地配置(部分交換機以及計算節點位于異地安裝,通過遠程網絡組網形成
集群計算系統)。例如,若干無線網絡交換機以及多個計算節點組建成一個獨
立機柜,各機柜位于同一安裝地點或分屬不同安裝地點,通過本地有線網絡
或商用的遠程網絡連接,并接受管理節點的管理。所述有線網絡可以采用
Infiniband或千萬兆以太網技術。

每個機柜內可以設置1~4個無線網絡交換機以及16~126個計算節點,統
一通過機柜電源向各無線網絡交換機以及計算節點的電源管理模塊供電。在
同一個機柜內,各計算節點可以任意選擇一個交換機構成動態連接,在機柜
范圍內自由組網,形成動態網絡拓撲結構。但機柜本身是密封的,以屏蔽外
界無線電磁波干擾和內部無線電磁波外泄,因此機柜與機柜之間無法進行無
線通信,即計算節點無法跨機柜與其他機柜的交換機無線連接。上述配置可
以防止過多的計算節點與交換機之間產生通信擁堵和互相干擾而影響通信質
量、升高通信延遲的問題。

通常為了提供集群計算系統的并行執行環境,以提高計算性能,各計算
節點采用統一的軟件架構。在一個具體的實施例中,如圖6所示,計算節點
可以在操作系統之上運行并行執行環境軟件,所述并行執行環境軟件集成了
分布式緩存文件系統,該分布式緩存文件系統為用戶程序提供統一的標準文
件訪問接口,負責文件系統級的容錯和故障恢復,并支持用戶對容錯能力進
行配置;所述并行執行環境軟件還集成了基于消息傳遞的編程模型所需要的
軟件支持,例如MPI等,以及廣泛用于數據分析的以數據為中心的編程模型
所需要的軟件支持,例如MapReduce等。然后基于上述底層軟件,在頂層進
行分布式并行程序的應用,進行大規模的并行計算。

綜上,本發明的集群計算系統,降低了單計算節點的功耗,增強其在特
定應用領域的計算性能,并形成規模效應。且計算節點中的嵌入式處理器還
集成有擴展計算部件,便能夠根據具體的應用領域重新優化其計算性能。相
比于現有的集群計算系統,具有計算能力強、單位功耗低、吞吐率更大的優
點。

雖然本發明已以較佳實施例披露如上,但本發明并非限定于此。任何本
領域技術人員,在不脫離本發明的精神和范圍內,均可作各種更動與修改,
因此本發明的保護范圍應當以權利要求所限定的范圍為準。

關于本文
本文標題:集群計算系統.pdf
鏈接地址:http://www.wwszu.club/p-6421046.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大