云計算服務的大規(guī)模計算網絡(多圖)

2010-07-15 09:53:02

云計算 如果說提供云計算這種巨型計算服務的IT架構必然是集結了大規(guī)模基礎資源的數(shù)據(jù)中心“超級航母”，它也必然要求大規(guī)模計算網絡與其相適應。

創(chuàng)新互聯(lián)是一家集網站建設,寧強企業(yè)網站建設,寧強品牌網站建設,網站定制,寧強網站建設報價,網絡營銷,網絡優(yōu)化,寧強網站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網站。

如果說提供云計算這種巨型計算服務的IT架構必然是集結了大規(guī)?；A資源的數(shù)據(jù)中心“超級航母”，它也必然要求大規(guī)模計算網絡與其相適應。

云計算IT資源供應模型

云計算既然擁有近乎無限的計算、存儲、數(shù)據(jù)通信能力，那么提供云計算服務的IT架構必然是集結了大規(guī)?；A資源的數(shù)據(jù)中心“超級航母”。

云計算IT資源的大規(guī)模集中運營，可極大優(yōu)化基礎資源的分布與調度，圖1所示為理想的業(yè)務模型。對于使用云計算服務的企業(yè)或個人而言，能夠滿足IT業(yè)務的***方式為計算能力按需增長、應用部署快速實現(xiàn)、工作負載可動態(tài)調整、投入成本規(guī)劃可控；對于云計算服務供應商而言，為滿足大量客戶(個人或企業(yè))的IT資源需求，其運營的IT基礎架構需要有一個大規(guī)模的資源池，可基于服務客戶數(shù)量的增長、客戶業(yè)務負載增長的需求變化情況提供匹配的IT資源支持能力。

圖1 云計算IT資源供應模型

大規(guī)模云計算服務運營趨勢

大規(guī)模的IT集中建設與運營帶來將是大幅度的成本節(jié)約效應。據(jù)國外一份統(tǒng)計數(shù)據(jù)顯示（如圖2所示），在大規(guī)模IT服務環(huán)境下，網絡、存儲、服務器/管理等各方面的投入都會在單位資源尺度內極大降低，從而在大規(guī)模經營條件下使得單位資源帶來更大的產出。

圖2 大規(guī)模IT運營的成本優(yōu)勢

（正文從這里開始）

在大規(guī)模云計算運營趨勢下，IT基礎組件必然走向全面標準化，以使得云所支撐各部分可以在保持發(fā)展的同時相互兼容。當前的虛擬化標準組織、云計算標準化組織已經基本形成，它們的工作目的就是制定云計算不同組件、不同技術之間的公共接口，這樣眾多的軟硬件供應商能夠在云計算環(huán)境下提供互通、協(xié)作的標準化產品，從而可期望在遠期目標上使得云計算的大規(guī)模IT運營架構逐步擺脫隔離性、壟斷性，使公共服務得以構建在開放的公共化標準技術基礎上，并隨著技術發(fā)展而持續(xù)性降低成本。

對于大規(guī)模的計算網絡，在基礎形態(tài)上主要有兩種模式：虛擬化計算與集群計算。其實這兩種方式并無完全的割離，即可能分別部署，也可能相互結合。

一、大規(guī)模虛擬化計算與網絡架構

虛擬化計算技術已經逐步成為云計算服務的主要支撐技術，特別是在計算能力租賃、調度的云計算服務領域起著非常關鍵的作用。

在大規(guī)模計算資源集中的云計算數(shù)據(jù)中心，以X86架構為基準的不同服務器資源，通過虛擬化技術將整個數(shù)據(jù)中心的計算資源統(tǒng)一抽象出來，形成可以按一定粒度分配的計算資源池，如圖3所示。虛擬化后的資源池屏蔽了各種物理服務器的差異，形成了統(tǒng)一的、云內部標準化的邏輯CPU、邏輯內存、邏輯存儲空間、邏輯網絡接口，任何用戶使用的虛擬化資源在調度、供應、度量上都具有一致性。

圖3 大規(guī)模虛擬化云計算

虛擬化技術不僅消除大規(guī)模異構服務器的差異化，其形成的計算池可以具有超級的計算能力（如圖4所示），一個云計算中心物理服務器達到數(shù)萬臺是一個很正常的規(guī)模。一臺物理服務器上運行的虛擬機數(shù)量是動態(tài)變化的，當前一般是4到20，某些高密度的虛擬機可以達到100:1的虛擬比(即一臺物理服務器上運行100個虛擬機)，在CPU性能不斷增強(主頻提升、多核多路)、當前各種硬件虛擬化(CPU指令級虛擬化、內存虛擬化、橋片虛擬化、網卡虛擬化)的輔助下，物理服務器上運行的虛擬機數(shù)量會迅猛增加。一個大型IDC中運行數(shù)十萬個虛擬機是可預見的，當前的云服務IDC在業(yè)務規(guī)劃時，已經在考慮這些因素。

 圖4 密集的虛擬機群

在虛擬化云計算網絡環(huán)境，超高密度的虛擬機數(shù)量引入了有別于任何以往傳統(tǒng)意義上數(shù)據(jù)中心的業(yè)務承載問題，在表象相似的網絡平臺上，“服務器/虛擬機”的數(shù)量在單位空間和單位網絡接口劇增，如圖5所示，對基礎網絡的轉發(fā)表項、吞吐能力、突發(fā)流量吸收提出了苛刻的要求。

圖5 密集的應用與性能要求

虛擬化的云中，計算資源能夠按需擴展、靈活調度部署，這由虛擬機的遷移功能實現(xiàn)，虛擬化環(huán)境的計算資源必須在二層網絡范圍內實現(xiàn)透明化遷移（如圖6所示）。

圖6 透明網絡支持虛擬資源的調度遷移

透明環(huán)境不僅限于數(shù)據(jù)中心內部，對于多個數(shù)據(jù)中心共同提供的云計算服務，要求云計算的網絡對數(shù)據(jù)中心內部、數(shù)據(jù)中心之間均實現(xiàn)透明化交換（如圖7所示），這種服務能力可以使客戶分布在云中的資源邏輯上相對集中(如在相同的一個或數(shù)個VLAN內)，而不必關心具體物理位置；對云服務供應商而言，透明化網絡可以在更大的范圍內優(yōu)化計算資源的供應，提升云計算服務的運行效率、有效節(jié)省資源和成本。

圖7 大規(guī)模虛擬化云計算的透明化網絡承載

二、大規(guī)模集群計算與網絡架構

集群計算很早就廣泛應用了，只是在不同的領域有著不同的表現(xiàn)形式，或者說有不同的術語，如在科學計算領域的并行計算或高性能計算當前主要以集群計算的方式實現(xiàn)。集群通過一組松散集成的計算機軟件和/或硬件連接起來高度緊密地協(xié)作完成計算工作，在某種意義上，集群可以被看作是一臺計算機。

人們使用集群的目的是為了獲得強大的計算能力，雖然這可以通過購買具備超級計算能力的大型機來實現(xiàn)，但是在成本投入上是巨大的。對于一般計算機，計算能力是有限的，雖然摩爾定律說計算能力每18個月可以翻一番，但要達到大型機的性能，很長一段時間內是難以實現(xiàn)的(摩爾定律被普遍認為在過去30年相當有效，未來10~15年應依然適用)。因此，為突破摩爾定律的限制，將多臺低成本計算機通過集群方式，以并行計算來獲取更大的計算能力，成為各種追求高性能計算領域的主流方向（如圖8所示）。

 圖8 以集群架構超越摩爾定律

以互聯(lián)網應用為例，有的計算服務要求提供超級計算能力，如大型搜索引擎的構建，就是大量服務器群共同協(xié)作實現(xiàn)的巨量計算。

科研領域并行計算的主流技術是MPI(Message Passing Interface)，但以支持Fortran、C語言的科學計算為優(yōu)勢。云計算領域的代表性技術是Hadoop(還有其它類似的分布式計算技術)，突出商用的擴展性架構、大數(shù)據(jù)量處理，大大簡化開發(fā)難度，屏蔽系統(tǒng)底層的復雜性。

Hdoop是目前在互聯(lián)網使用廣泛的一種云計算支撐架構，借助于Hadoop, 程序員可以輕松地編寫分布式并行程序，將其運行于大型計算機集群上，完成海量數(shù)據(jù)的計算。圖9是當前廣為流傳的Hadoop分布式文件系統(tǒng)體系架構模型，這一類的集群架構將服務器按群分置不同角色群，角色協(xié)同完成大規(guī)模計算任務。

圖9 Hadoop分布式文件系統(tǒng)體系架構

這些角色包括NameNode，它在 HDFS 內部提供元數(shù)據(jù)服務；DataNode，它為 HDFS 提供存儲塊。NameNode 是一個通常在 HDFS 實例中的單獨機器上運行的軟件。它負責管理文件系統(tǒng)名稱空間和控制外部客戶機的訪問。DataNode 響應來自 HDFS 客戶機的讀寫請求。NameNode 與每個 DataNode 有定期心跳（heartbeat）消息檢查健康性。

分布式文件系統(tǒng)的設計需求對應到網絡的架構上主要有：并發(fā)吞吐性能、可伸縮性、容錯需求等。

HDFS的目標就是構建在大規(guī)模廉價機器上的分布式文件系統(tǒng)集群，一個文件可以表示為其內容在不同位置的多個拷貝。這樣做帶來了兩個好處：訪問同個文件時可以從多個服務器中獲取從而改善服務的伸縮性，另外就是提高了容錯能力，某個副本損壞了，仍然可以從其他服務器節(jié)點獲取該文件。同時集群內部還通過心跳檢測、集群的負載均衡等特性提升容錯性。

傳統(tǒng)HDFS采用一種稱為rack-aware的策略來改進數(shù)據(jù)的可靠性、有效性和網絡帶寬的利用，典型的組網邏輯如圖10所示(也是流傳比較廣泛的一張圖，筆者未加修改)。

圖10 經典的Hadoop組網結構

圖10中每個交換及所接服務器被安裝在數(shù)據(jù)中心的同一個機架(rack)內，該交換機稱為Top of rack switch，典型情況下每個機架內部署40臺服務器(國外比較流行，國內當前達到這樣密度的IDC很少)，一般采用48千兆端口的交換機，傳統(tǒng)設計中會采用4個到8個千兆上行，因此每個機架上行的帶寬收斂比一般在5:1~10:1。

不同機架間的兩臺機器的通訊需要通過交換機，顯然通常情況下，同一個機架內的兩個節(jié)點間的帶寬會比不同機架間的兩臺機器的帶寬大。因此Hadoop 的一個假設是：機架內部節(jié)點之間的傳輸速度快于機架間節(jié)點的傳輸速度。

通過一個稱為Rack Awareness的過程，Namenode決定了每個Datanode所屬的rack id。一個簡單但沒有優(yōu)化的策略就是將副本存放在單獨的機架上。這樣可以防止整個機架（非副本存放）失效的情況，并且允許讀數(shù)據(jù)的時候可以從多個機架讀取。這個簡單策略設置可以將副本分布在集群中，有利于組件失敗情況下的負載均衡。但是，這個簡單策略加大了寫的代價，因為一個寫操作需要傳輸block到多個機架。

為了降低整體的帶寬消耗和讀延時，HDFS會盡量讓reader讀最近的副本。如果在reader的同一個機架上有一個副本，那么就讀該副本。如果一個HDFS集群跨越多個數(shù)據(jù)中心，那么reader也將首先嘗試讀本地數(shù)據(jù)中心的副本。

HDFS支持數(shù)據(jù)的均衡分布處理，如果某個Datanode節(jié)點上的空閑空間低于特定的臨界點，那么就會啟動一個計劃自動地將數(shù)據(jù)從一個Datanode搬移到空閑的Datanode。當對某個文件的請求突然增加，那么也可能啟動一個計劃創(chuàng)建該文件新的副本，并分布到集群中以滿足應用的要求。

我們可以看到，Hadoop系統(tǒng)在開發(fā)過程中關注了數(shù)據(jù)交換對象(計算節(jié)點)之間的距離，實際上是考慮了網絡構建模型中帶寬不匹配因素。這種因素的引入，不僅編程人員需要關心，業(yè)務部署人員、網絡維護人員也都要關心，在小規(guī)模環(huán)境下還能夠勉強運行，但是如果要支持全互聯(lián)網級的大規(guī)模應用，集群可能達到數(shù)千臺、數(shù)萬臺，業(yè)務的部署、擴展、運行、支撐都會存在很多問題。如圖11是一種高擴展要求的集群模型，這類集群應用自身是分層架構，每一層應用都是一個大規(guī)模集群，采用傳統(tǒng)方式構建交換網絡，必將存在諸多限制，無法發(fā)揮云計算巨型計算的服務能力。

圖11 大規(guī)模集群架構

隨著網絡交換萬兆技術的發(fā)展和設備成本的不斷降低，目前大規(guī)模集群的構建也發(fā)展到新的階段，需要新的網絡結構來支持和運行：

無阻塞網絡架構：滿足集群環(huán)境中所有服務器的對等通信要求，任意節(jié)點之間可以達到相等帶寬(當前是以千兆為主)，服務器應用程序不再關注數(shù)據(jù)交互節(jié)點是在一個機架內還是在其它機架。

大規(guī)模集群能力：當前2千臺規(guī)模的服務器集群已經在互聯(lián)網行業(yè)廣泛部署，隨著云計算業(yè)務的開發(fā)提供，更大規(guī)模的集群(5000-1萬臺)將成為支持云計算的主流網絡結構，無阻塞架構是這種網絡的基本要求。

足夠扁平化的架構：所謂扁平化就是極大減少組網結構層次，目前數(shù)據(jù)中心扁平化結構以兩層物理網絡為主流。在還是千兆為主的服務器端口條件下，接入交換機的用戶端口數(shù)一般為48個千兆，要滿足無阻塞的跨機架帶寬，則上行帶寬需要5個萬兆(當然也可以只使用40個千兆接入，4個萬兆上行)，而核心交換則需要高密的萬兆(>120)全線速能力。

圖12是一種新的無阻塞網絡模型，也被稱為CLOS組網結構。在接入層交換機當前可達到50個千兆端口(常規(guī)是48，可用兩個萬兆自適應千兆)，無阻塞上行5個萬兆到5臺高密萬兆核心設備，當核心萬兆密度超過140端口，則整個集群規(guī)?？蛇_到7000臺服務器。網絡規(guī)劃上將二層終結在接入層，使用等價路由將接入交換機的上行鏈路帶寬進行負載分擔，從而可以實現(xiàn)整個網絡的無阻塞交換，任意服務器端口之間可以具有千兆線速的能力，完全消除了云計算集群內部的帶寬限制因素。

 圖12 大規(guī)模無阻塞集群網絡

消除了帶寬限制的無阻塞集群，應用內部交換數(shù)據(jù)變得足夠靈活，數(shù)據(jù)訪問不再受限于服務器的物理位置，將使得數(shù)據(jù)中心的流量在大范圍內流動（如圖13所示）。以無阻塞網絡構建的大規(guī)模計算群，更有利于云計算性能的充分發(fā)揮。

圖13 大規(guī)模集群的大范圍流量交換

三、結束語

云計算的大規(guī)模運營，給傳統(tǒng)網絡架構和傳用應用部署經驗都帶來了挑戰(zhàn)，新一代網絡支撐這種巨型的計算服務，不論是技術革新還是架構變化，都需要服務于云計算的核心要求，動態(tài)、彈性、靈活，并實現(xiàn)網絡部署的簡捷化。

網站欄目：云計算服務的大規(guī)模計算網絡(多圖)
URL標題：http://m.fisionsoft.com.cn/article/djjsdio.html