8年前,亞馬遜發(fā)布了第一個(gè)云計(jì)算產(chǎn)品。亞馬遜一直堅(jiān)持云計(jì)算的目的,就是屏蔽底層的硬件,為開發(fā)者提供計(jì)算資源以運(yùn)行應(yīng)用程序。 對(duì)于 AWS,還有其母公司亞馬遜,硬件都是一個(gè)競(jìng)爭(zhēng)優(yōu)勢(shì)。亞馬遜一向不大愿意過多談?wù)撟约旱臄?shù)據(jù)中心和系統(tǒng)。 但是那些競(jìng)爭(zhēng)對(duì)手們,包括 GOOGLE, MICROSOFT 和 IBM,則大肆宣傳在云計(jì)算上的投入和創(chuàng)新。亞馬遜也就不得不稍稍揭開一點(diǎn)自己的神秘面紗。
原因很簡(jiǎn)單。亞馬遜的在線零售業(yè)務(wù),是一個(gè)700億美金的龐然大物,大雖大,但耗費(fèi)現(xiàn)金并不多。 Jeff Bezos,亞馬遜的創(chuàng)始人兼 CEO,對(duì)于利潤(rùn)的興趣很小,對(duì)于改變世界的興趣倒是很大。然而,云計(jì)算畢竟是這個(gè)世界上,資本最為密集的行業(yè)之一。Google 可以在數(shù)據(jù)中心上花費(fèi)幾百億美金而毫不心痛,背后有壟斷性業(yè)務(wù)“搜索引擎”的支撐。 Microsoft,則在桌面軟件和數(shù)據(jù)中心軟件方面有著壟斷的地位,錢袋一樣深不可測(cè),自然也一樣敢于一擲千金。
Google 和 Microsoft 在燒錢上的本事,無人能及。 但他們的基礎(chǔ)設(shè)施和平臺(tái)服務(wù),面對(duì)亞馬遜時(shí)的競(jìng)爭(zhēng)力,還是令人生疑。 但若從長(zhǎng)期來看,亞馬遜能否跟得上 google 和 microsoft 的腳步,卻很成問題了。 于是,AWS 的副總裁,卓越的工程師,James Hamilton 透露了AWS 云的規(guī)模和范圍。目的自然為了告訴大家,亞馬遜的領(lǐng)先地位以及對(duì)云計(jì)算的決心。
最重要的,永遠(yuǎn)是規(guī)模。做在線零售的亞馬遜,當(dāng)然清楚這個(gè)。 亞馬遜很少談及公有云,因?yàn)樵趤嗰R遜的理論中,云計(jì)算就不該是私有云。亞馬遜認(rèn)為,長(zhǎng)期來看,公有云的巨大規(guī)模,意味著大部分的組織和機(jī)構(gòu)都不需要運(yùn)營自己的數(shù)據(jù)中心。
在 AWS 的 Re:Invent 大會(huì)上,jassy又一次強(qiáng)調(diào),自云計(jì)算業(yè)務(wù)開始以來,他和亞馬遜的 CTO Werner Vogels 就支持這個(gè)論點(diǎn)。(亞馬遜為美國中央情報(bào)局建設(shè)過一個(gè)特殊的 AWS 私有云,簽署了為期10 年,6.6 億美金的合同。但那只不過是一個(gè)例外。云計(jì)算本質(zhì)上還應(yīng)該是公有的)。 Jassy and Vogels的信念很簡(jiǎn)單: 只有覆蓋了全區(qū)域,具備大容量,提供最豐富功能的云,才能勝出。會(huì)有一些例外,比如說金融服務(wù)云,或者那種100%運(yùn)行特殊硬件和軟件的巨型計(jì)算中心。 公有云的資源不僅足夠好,而且一定會(huì)超越大部分的私有云。
AWS 將底層的計(jì)算能力、存儲(chǔ)和網(wǎng)絡(luò)功能,抽象出來,這樣開發(fā)者就可以專注于應(yīng)用開發(fā)。抽象出來的資源,要么形成純粹的基礎(chǔ)設(shè)施,要么在其上繼續(xù)抽象出一層平臺(tái)服務(wù),便于進(jìn)一步實(shí)現(xiàn)自動(dòng)化部署和對(duì)中間件、數(shù)據(jù)庫和支持應(yīng)用的其他服務(wù)的管理。但這并不是說底層的基礎(chǔ)設(shè)施不重要。 實(shí)際上,亞馬遜投入了巨大資金,用來設(shè)計(jì)和建設(shè)數(shù)據(jù)中心,并優(yōu)化各方面的設(shè)施從內(nèi)存條到數(shù)據(jù)中心的墻壁?;A(chǔ)設(shè)施確實(shí)重要,絕對(duì)能夠形成競(jìng)爭(zhēng)優(yōu)勢(shì)。
網(wǎng)絡(luò)的事,比服務(wù)器還麻煩
和許多超級(jí)數(shù)據(jù)中心一樣,亞馬遜的服務(wù)器,剛開始也是從一線的服務(wù)器制造商那里購買。亞馬遜成了rackable system(現(xiàn)在是 SGI 旗下公司)最大的客戶。 后來,亞馬遜決定自行制造系統(tǒng),以便針對(duì)自己的工作性質(zhì)進(jìn)行精確調(diào)優(yōu)。尤為重要的,是為了能夠與其數(shù)據(jù)中心、電力、制冷系統(tǒng)嚴(yán)絲合縫的配合。數(shù)據(jù)中心在與時(shí)俱進(jìn)的發(fā)展,系統(tǒng)也需要步調(diào)一致的前進(jìn)。
過去,亞馬遜在其基礎(chǔ)設(shè)施的規(guī)模問題上,只含糊其辭,從不給出準(zhǔn)確的數(shù)據(jù)。從2004年開始,AWS 每一天都要安裝足夠多的服務(wù)器以支撐亞馬遜的在線零售業(yè)務(wù)。那個(gè)時(shí)候,亞馬遜的收入規(guī)模,僅為70億美金,僅為現(xiàn)在的1/10。
“去年發(fā)生的那些變化?”Hamilton反問道,然后開玩笑說:“我們都執(zhí)行過365次了。”
換句話說,去年 AWS 增添了足夠多的容量,以支撐2.55萬億的在線零售業(yè)務(wù)。
那么,AWS 到底容量多大? 答案是:比很多人想的還要大。
下面就是關(guān)于服務(wù)器的計(jì)算了。 亞馬遜在全球11個(gè)地區(qū)擁有數(shù)據(jù)中心。 每一個(gè)地區(qū)擁有最少2個(gè)可用區(qū),這樣所有地區(qū)一共擁有28個(gè)可用區(qū)。 (包括兩周前在德國法蘭克福啟動(dòng)的新地區(qū))這些可用區(qū)為本地的工作負(fù)荷,提供隔離的和冗余的能力。類似那種串聯(lián)或者分層的容錯(cuò)系統(tǒng),在數(shù)據(jù)中心和服務(wù)的層次上工作,而不是在兩個(gè)系統(tǒng)之間嚴(yán)格步調(diào)一致。每個(gè)可用區(qū)最少有一個(gè)數(shù)據(jù)中心,有些則多達(dá)6個(gè)數(shù)據(jù)中心。 (2013年1月,Hamilton 在 Re:Invent 會(huì)議上說,僅只美東地區(qū)便有超過10個(gè)數(shù)據(jù)中心,但在2014年的Re:Invent 會(huì)議上他的演講中,又說沒有可用區(qū)擁有超過6個(gè)數(shù)據(jù)中心。)目的是為了讓客戶能夠構(gòu)建自己的應(yīng)用,運(yùn)行在不同的可用區(qū)上,以實(shí)現(xiàn)本地?cái)?shù)據(jù)保護(hù)。更進(jìn)一步,實(shí)現(xiàn)跨地區(qū)部署,達(dá)到更高層次的可用性。 亞馬遜通過增加新的數(shù)據(jù)中心,以為每個(gè)可用區(qū)提升容量。
基本上,和企業(yè)客戶增加的機(jī)架一樣,數(shù)據(jù)中心實(shí)際上就是 AWS 的新機(jī)架。
好了,這一切都還是很有意思的。 Hamilton 說 AWS 的每一個(gè)區(qū)域都最少有兩個(gè)可用區(qū),每個(gè)可用區(qū)則最少有1個(gè)數(shù)據(jù)中心。然后他又補(bǔ)充說,一個(gè)典型的數(shù)據(jù)中心最少有5萬臺(tái)服務(wù)器,有的超過8萬臺(tái)。 另外,數(shù)據(jù)中心的規(guī)模效益在到達(dá)頂峰后便即下降。隨著規(guī)模擴(kuò)大,在某一個(gè)點(diǎn),數(shù)據(jù)中心的邊際成本開始上升,而不是下降。 更重要的是,在到達(dá)某一個(gè)數(shù)值后,一旦發(fā)生災(zāi)難型事故導(dǎo)致數(shù)據(jù)中心失效,則殃及的“爆炸半徑”太大,使得過多的負(fù)載無法轉(zhuǎn)移。
做一點(diǎn)計(jì)算吧。 假設(shè) AWS 有28個(gè)可用分區(qū),每一個(gè)數(shù)據(jù)中心只有5萬服務(wù)器。這是 AWS 基礎(chǔ)設(shè)施最小的容量了。這樣,全球共有140萬服務(wù)器。如果你不相信,說每個(gè)分區(qū)有8萬臺(tái)服務(wù)器(我們知道這不是真的,只不過設(shè)置一個(gè)錯(cuò)誤的最高界線),那么就是224萬機(jī)器。 為了更準(zhǔn)確的猜測(cè) AWS 基礎(chǔ)設(shè)施的規(guī)模,你必須猜測(cè)可用區(qū)中,數(shù)據(jù)中心數(shù)量的分布情況。 我認(rèn)為很少情況下,只有一個(gè)數(shù)據(jù),大部分都是2個(gè)數(shù)據(jù)中心,擁有更多數(shù)據(jù)中心的情況則越來越少,直到到達(dá)最大值6個(gè)數(shù)據(jù)中心。我把數(shù)據(jù)擺弄來擺弄去,覺得 28個(gè)分區(qū),一共87個(gè)數(shù)據(jù)中心這樣的估算還是靠譜的。 每個(gè)分區(qū)平均3個(gè)數(shù)據(jù)中心還要多一點(diǎn)。 如果假設(shè)每個(gè)可用區(qū)平均6萬5千個(gè)服務(wù)器,那么你會(huì)看到數(shù)值很大:564萬服務(wù)器。如果平均5萬服務(wù)器,則降低到全球420萬機(jī)器。如果假設(shè)每個(gè)可用區(qū)的數(shù)據(jù)中心少一些-比如平均2個(gè)-那么一共280萬臺(tái)機(jī)器。 由此,答案是 AWS 可能擁有280萬到560萬服務(wù)器。 我也意識(shí)到很可能誤差很大,可是也只能這樣猜測(cè)了。









