新架構讓數據中心猶如PC

摘要:隨著VL2網絡拓撲結構帶來了對等帶寬,大量數據可以存放在遠方的數據中心,訪問起來卻猶如它們就在本地,這將對數據中心的架構產生重大影響。Todd Hoff參加了Hot Interconnects大會,對微軟VL2架構做了詳細解讀。CSDN摘譯如下:

【CSDN編譯】已經有越來越多人的達成共識,對于整個世界而言Google的數據中心就是一臺計算機。計算機的所有硬件資源(CPU、內存、存儲)都是可替代的,身處兩地的硬件也是可以互相替換的,計算機不再有明確的所有人,它已經進化成服務的一部分。

FDS架構FDS架構

Google是怎么做到的呢?正是采用了已經被驗證過的系統架構和技術 ,幫助數據中心帶來了深不可測的性能提升。MapReduc就是其中最著名的技術,被廣泛應用于存儲節點。

此外,采用了全新的網絡拓撲,并使用全新的軟件架構,這樣你就可以將數據自由的存儲在任何你希望它在的地方。數據中心儼然變成了計算機。

在服務器端,每個節點擁有8個PCI-E 3.0接口,提供高達每秒8GB的雙向帶寬,我們有足夠的I/O來延續摩爾定律,饑餓的CPU野蠻的吞噬著數據包。未來,SoC將集成網絡接口,提供更快的速度。

接下來的挑戰是讓網絡如何工作。今年5月,微軟利用分布式系統FDS創造了新的MinuteSort世界紀錄(速度比采用Hadoop架構的Yahoo快了三倍,所用硬件資源只有后者1/6。),它展示了如何提供對等帶寬(bisectional bandwidth)的方法,讓每臺計算機之間都能全速傳輸數據,這讓數據存儲在遙遠的地方變得可能,數據不需要必須存儲在當地的數據中心中。

建立一個負擔得起的對等網絡是需要絞盡腦汁選擇方法的。基本的原則包括改變協議,更換路由器,或者更換主機托管商。微軟給出的答案是更換托管商,并增加了集中控制層。?

微軟在VL2中詳細說明了這一改變,VL2是一套可擴展并十分靈活的網絡架構:

一個可用的網絡架構可以通過擴展支持巨大的數據中心,并保證統一的高容量帶寬,各個服務器擁有獨立的帶寬。VL2使用:(1)扁平尋址,這可以允許服務實 例被放置到網絡覆蓋的任何地方,(2)負載均衡將流量統一的分配到網絡路徑,(3)終端系統的地址解析拓展到巨大的服務器池,并不需要將網路復雜度傳遞給 網絡控制平臺。

VL2的核心思想是使用CLOS拓撲結構建立扁平的第二層網絡。這樣做的好處是,虛擬機在數據中心內任意移動,都永遠不用改變IP地址。關于網絡第二層ARP廣播問題,通過改變ARP,并集中注冊服務來解決。將不再產生廣播風暴。

這種方法看上去很奇怪,不過我參加了Hot Interconnects大會,關于VL2的整個方案充滿智慧。方案的成果顯而易見,成本低、高帶寬以及更低的東西部間的延遲,這一切都基于先進的軟件架構。不過它不支持任意路由vSwitch的方法這一特性,這意味著你不能采用未來可能出現的效率更高的拓撲結構。

微軟已建立FDS基準代碼,并在其基礎上發布了Blob Storage系統:

值得一提的是,在我們的系統中沒有計算節點使用本地存儲的數據,我們相信FDS系統極具競爭力。總過1470GB數據全部存放在遠程,在一分鐘內總共傳輸了4.4TB數據。

FDS總是在網絡上發送數據。FDS采取兩種方式減少數據傳輸成本。首先,我們給每個存儲節點開通的網絡帶寬與其存儲帶寬匹配。SAS磁盤的讀取性能達到120MB/s,或約1Gb/s,所以在FDS集群存儲節點總是至少提供1Gb的網絡帶寬。第二,我們在存儲節點與計算節點間使用了對等帶寬網絡, 即CLOS拓撲結構,在Monsoon項目中采用了這一架構。這兩種方式將在遠程的CPU和磁盤間融合建立互補干擾的通道,使系統的總I/O帶寬基本上等 同于使用本地存儲系統,如MapReduce。FDS其性質允許任何計算節點訪問任何數據,并具有同等的吞吐量。

作為分布式文件系統FDS已經成為數據中心核心的架構組件。

通過10/100 Gbps網絡和VL2以及FDS技術,我們取得了不錯的進展,數據中心資源池內的CPU、內存、存儲均做到可替換。但網絡仍然是不可替代的,盡管我并不確認這意味著什么。 SDN將幫助網絡成為第一級對象,但是由于性能的原因,網絡永遠不能真正的與拓撲結構脫離。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/450361.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/450361.shtml
英文地址,請注明出處:http://en.pswp.cn/news/450361.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

mongodb分片概念和原理-實戰分片集群

一、分片分片是一種跨多臺機器分發數據的方法。MongoDB使用分片來支持具有非常大的數據集和高吞吐量操作的部署。問題:具有大型數據集或高吞吐量應用程序的數據庫系統可能會挑戰單個服務器的容量。例如,高查詢率會耗盡服務器的CPU容量。工作集大小大于系…

字符串的一些用法

一.Java字符串類基本概念在JAVA語言中,字符串數據實際上由String類所實現的。Java字符串類分為兩類:一類是在程序中不會被改變長度的不變字符串;二類是在程序中會被改變長度的可變字符串。Java環境為了存儲和維護這兩類字符串提供了 String和…

獲取BGR顏色的HSV值

import cv2import numpy as npgreen np.uint8([[[152, 245, 255]]]) # 輸入待轉換顏色的BGR值hsv_green cv2.cvtColor(green, cv2.COLOR_BGR2HSV)print(hsv_green)轉載于:https://www.cnblogs.com/LicwStack/p/10129505.html

HTTP 協議是無狀態協議,怎么理解

HTTP 是一個屬于應用層的面向對象的協議,HTTP 協議一共有五大特點:1、支持客戶/服務器模式;2、簡單快速;3、靈活;4、無連接;5、無狀態。 無連接 無連接的含義是限制每次連接只處理一個請求。服務器處理完客…

加入初創企業需要想清楚的幾個問題

摘要:加入一家初創企業是一段充滿冒險的旅程。沿途不會都是美景,更別忘了最初的夢想。 去初創公司面試,你一般會糾結于被問到什么問題。但更重要的是問自己:你下定決心在接下來的5年中“從頭再來”嗎?你能接受這份薪資…

類和對象的區別

類和對象的區別1,類是一個抽象的概念,它不存在于現實中的時間/空間里,類只是為所有的對象定義了抽象的屬性與行為。就好像“Person(人)”這個類,它雖然可以包含很多個體,但它本身不存在于現實世…

IIS服務器SSL證書安裝

在證書控制臺下載IIS版本證書,下載到本地的是一個壓縮文件,解壓后里面包含.pfx文件是證書文件,pfx_password.txt是證書文件的密碼。 友情提示: 每次下載都會產生新密碼,該密碼僅匹配本次下載的證書。如果需要更新證書文…

attempting to use incompatible return type 提示 解決

前些天發現了一個巨牛的人工智能學習網站,通俗易懂,風趣幽默,忍不住分享一下給大家。點擊跳轉到教程。 一、問題:方法返回類型上有紅線,提示信息:... attempting to use incompatible return type 要返回…

地圖市場三足鼎立:諾基亞官方確認與亞馬遜合作

摘要:諾基亞確認為亞馬遜新推出的平板提供地圖服務,至此地圖市場“三家分晉”的格局已趨明朗。 路透社之前曾報道稱亞馬遜在新版Kindle中將使用諾基亞提供的地圖服務。但直到今日,這則消息才得到雙方的確認。諾基亞方面確認將為亞馬遜提供地圖…

關于明晚即將發布的新款 iPad Pro,最大的亮點也許不是 Face ID

北京時間 10 月 30 日晚間 10 點,蘋果將會在美國紐約的布魯克林音樂學院舉行新品發布會。考慮到此前蘋果已經在 9 月的發布會上宣布了 Apple Watch Series 4 和 iPhone XS/Max、iPhone XR 等新品,因此蘋果此次的紐約發布會,大家的目光更多地投…

重載

編程中重載的定義:函數名相同,函數的參數列表不同(包括參數個數和參數類型),至于返回類型可同可不同。重載是可使函數、運算符等處理不同類型數據或接受不同個數的參數的一種方法,關于重載一詞在詞義上有兩種不同的說法:多態:重載…

11. Container With Most Water

題意 給定n個非負整數\(a_1,a_2,...,a_n\),其中每個數表示坐標點\((i,a_i)\),i是數組下標,\(a_i\)是對應高度.尋找兩條線,使得兩條線構成的長方形面積最大,盛水最多. Example: Input: [1,8,6,2,5,4,8,3,7] Output: 49 解 暴力破解 對每種情況進行循環,計算對應的面積,同時保存最…

如何培養編程所需要的邏輯思維?

很少有人能單單通過所謂“邏輯思維”從復雜問題快速找到抽象的,如果有這樣的人,他的經驗,工具,方法和直覺通常起到比邏輯思維更重要的作用。寫代碼需要邏輯思維,但解決復雜問題更需要理解分析,寫代碼只是解…

jws 方式表格導出,excel文件導出,rest風格接口實現

前些天發現了一個巨牛的人工智能學習網站,通俗易懂,風趣幽默,忍不住分享一下給大家。點擊跳轉到教程。 一、思路:從數據庫表中查出list ,封裝到 HSSFWorkook 中,再由HSSFWorkook 寫出到 File 中, 用 res…

先思再行 閉著眼睛編程

摘要:解決問題最重要的習慣不是一直盯著屏幕和編寫修改代碼,某些時候,阻止你成功的東西恰恰會是過于努力。這時候你需要暫停一下,平緩你的思緒,換一種方法或許能帶給你不一樣的效果。你會花多少時間思考如何編寫代碼&a…

javaScript復習

ES6字符串方法: //console.log(String.prototype);var str "abcdefabc";//console.log(str.includes("a"));//結果true//console.log(str.includes("abf"));//結果false//console.log(str.startsWith("d"));//false//cons…

STS的安裝教程-鵬鵬

STS全稱Spring Tools Suite。 簡介:Spring Tools Suite (STS)其實就是一個被包裝過的Eclipse,主要用于快速的開發Spring項目,我們不用再去編輯繁瑣的xml配置文件,而是由工具自動生成。STS有兩種安裝方式,一種是直接在E…

final的用法

final 根據程序上下文環境,Java關鍵字final有“這是無法改變的”或者“終態的”含義,它可以修飾非抽象類、非抽象類成員方法和變量。你可能出于兩種理解而需要阻止改變:設計或效率。 final類不能被繼承,沒有子類,f…

愛恨交織的編程語言 是什么吸引了你

摘要:每門編程語言都有自身獨特的地方,那么為什么有些語言會一直存活在我們周圍,而有些語言卻逐漸被人淡忘,是什么吸引你? 每名程序員至少知道兩門以上的編程語言,有些甚至不是所謂的編程語言(比…

Unable to parse the date: 2017-12-30 日期格式轉化失敗

前些天發現了一個巨牛的人工智能學習網站,通俗易懂,風趣幽默,忍不住分享一下給大家。點擊跳轉到教程。 報錯如題, 日期格式轉化失敗。 原因:參數是2017-09-23 這種格式,代碼卻是寫的轉為: &qu…