第四屆中國云計算大會于2012年5月23-25日在北京國家會議中心隆重舉行。本次大會由中國電子學(xué)會主辦，北京市經(jīng)濟和信息化委 員會協(xié)辦，中國云計算技術(shù)與產(chǎn)業(yè)聯(lián)盟、中國電子學(xué)會云計算專家委員會承辦，CSDN與《程序員》雜志協(xié)辦。在2012國內(nèi)公共云全面開花、云計算實踐元年 之際，本次大會云集云計算核心專家，就國內(nèi)外云計算核心技術(shù)以及行業(yè)應(yīng)用創(chuàng)新實踐進(jìn)行了深入探討。

 

        中興通訊業(yè)務(wù)研究院總工趙培主要分析了云存儲的基礎(chǔ)發(fā)展趨勢。通過云存儲與傳統(tǒng)系統(tǒng)的差異分析，結(jié)合中興通訊云存儲系統(tǒng)，重點介紹EC、消重、壓縮、海量云存儲服務(wù)系統(tǒng)的架構(gòu)；如云存儲的數(shù)據(jù)管理、數(shù)據(jù)第三方加密等技術(shù)，如差異化的小文件讀寫方式、針對媒體應(yīng)用的數(shù)據(jù)加速技術(shù)等內(nèi)容。本演講還分享了中興通訊云存儲應(yīng)用案例，包括云存儲系統(tǒng)在視頻云、辦公云、家庭云等場景的應(yīng)用。

 

 

 

        中興通訊業(yè)務(wù)研究院總工 趙培

 

        以下為文字實錄：

 

       大家下午好！我來自中興通訊，主要負(fù)責(zé)我們云計算平臺的產(chǎn)品研發(fā)，這邊關(guān)注一塊，多媒體內(nèi)的SQA系統(tǒng)的研發(fā)工作。我今天匯報的主要跟大家分享一下我們中興通訊在云計算平臺做的一些工作，主要兩塊。我們在云存儲，演講的重點會在云存儲技術(shù)這塊。跟大家分享一下對云計算定義的理解。第一句話我不多講了，大家都講了很多了。

 

       我談一下我個人的理解。我各位云計算從兩個層面來看，第一個層面可能是一種商業(yè)模式，我怎么把我們的計算，或者存儲，像用水用電一樣，開放給用戶，我覺得這是一種商業(yè)模式。還有一塊，我們理解，云計算其實也是一種技術(shù)，我不管最終云計算作為一種商業(yè)模式，會不會得到大家的認(rèn)可，但是我對云計算的技術(shù)，一定會對我們各個業(yè)務(wù)所應(yīng)用的，所使用的，這樣可以提升我們，給我們的業(yè)務(wù)和應(yīng)用帶來好處。這是我的一個想法。

 

       從云計算三種價值服務(wù)模式來講，SAAS、PAAS、LAAS。講一個我們在平時的開發(fā)當(dāng)中遇到的問題，經(jīng)常有人會問我，我們做這個PAAS平臺，是不是一定要架構(gòu)在這個PAAS上面？我經(jīng)常解釋，不一定，PAAS平?？紤]的是IT、CT的軟件的開放，同時給第三方的開發(fā)者提供開發(fā)、測試、運行的環(huán)境。如果這個PAAS架構(gòu)在這個上面會帶來好多好處，我們覺得平臺可以不架構(gòu)在PAAS，PAAS是向第三方運營開發(fā)者開放的，可能上面會有多個應(yīng)用，我如果架構(gòu)在這個平臺上面，會給我們應(yīng)用的快速部署、擴展帶來很多好處。

 

       剛才其實也講了，我們從云計算理解來講，我們認(rèn)為有兩個層面，一個是一個關(guān)鍵技術(shù)，還有一塊是商業(yè)模式。從云計算的核心技術(shù)來看，我們把它看成兩塊，第一塊就是服務(wù)器的虛擬化技術(shù)，其實很簡單，大家也都比較清楚了，把一臺服務(wù)器，把它虛擬成多個虛擬機，同時我在整個系統(tǒng)上面，可以做到這種可貨載，可調(diào)度，資源可以回收。這樣的話可以降低CAPAX和OPAX，快速部署和補充，能不能把多個機器，虛擬成一個大的機器，通常我說服務(wù)器虛擬化這塊是做不了這個事情的。如果說你的應(yīng)用是可分解的，拆解的，我們可以用云計算的第二個，分布式并行技術(shù)做這樣的事情，一個集群做一個大的機器，給應(yīng)用作為使用。典型的架構(gòu)類似于谷歌這樣一套架構(gòu)，分布式文件系統(tǒng)，數(shù)據(jù)庫這樣一個架構(gòu)。

 

       下面講一下云存儲的概念，我們理解，它主要是把網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備，通過軟件的方式結(jié)合起來，整合起來，對外提供這種存儲的訪問，數(shù)據(jù)的存儲和訪問這樣一個功能。特征主要是一下幾個方面：

       1.海量的存儲。10P以上的空間，這是最基礎(chǔ)的。

       2.多租戶、互聯(lián)網(wǎng)服務(wù)。

       3.按需申請。

       4.動態(tài)擴展。

       5.多種存儲協(xié)議。

 

       云存儲大家看到各種各樣的系統(tǒng)，包括各項存儲系統(tǒng)，網(wǎng)盤、分布式文件系統(tǒng)，存儲網(wǎng)關(guān)，集群NAS。對象存儲是一個標(biāo)準(zhǔn)的云存儲系統(tǒng)，可以提供云存儲服務(wù)的，網(wǎng)盤更像是一種服務(wù)，也是云存儲，在符合度上稍微差一點。分布式文件系統(tǒng)這一塊，我們認(rèn)為它應(yīng)該是云存儲系統(tǒng)頂層的存儲引擎，不對外提供服務(wù)的。在原有的傳統(tǒng)設(shè)備上泛濫，跟云存儲的特征相符度低一些。

 

       下面主要介紹一下我們中興通訊的云計算平臺，我們中興通訊的云計算平臺分為兩層。一個是虛擬化，虛擬層，還有上面的那層分布的是處理層，虛擬層里面有服務(wù)器虛擬化這樣一個平臺，在我們的分布式處理層這一塊，包含著我們分布式文件系統(tǒng)，數(shù)據(jù)庫，包括分布式緩存，計算調(diào)度系統(tǒng)，以及搜索引擎這樣的組件。

 

       我們的平臺在不同的應(yīng)用場景下怎么使用？其實我們的平臺各個組建，我們在使用的時候，可以像搭積木一樣，根據(jù)不同的應(yīng)用場景，比如我們這邊舉了一個例子，在彈性的資源調(diào)度的情況下，跟虛擬化服務(wù)器這塊相關(guān)的，這個時候我們可以使用服務(wù)器和網(wǎng)絡(luò)設(shè)備，底層硬件，把我們平臺里面的虛擬化平臺拿出來，同時我們再把應(yīng)用部署上去，其實我們在內(nèi)部，像我們點心的增值應(yīng)用，內(nèi)部的產(chǎn)品，核心網(wǎng)的產(chǎn)品，都是這樣用的。

 

       包括像海量的非結(jié)構(gòu)化數(shù)據(jù)的存儲，我們可以從我們的平臺里面，拉出我們存儲服務(wù)器的硬件，包括我們的文件系統(tǒng)，在這個上面，我們可以是，比如我們自己的IPTV產(chǎn)品，我們奪媒體的云存儲應(yīng)用，包括我們的監(jiān)聽，IT文檔存儲，可以架構(gòu)在這樣一個平臺上面。架構(gòu)化數(shù)據(jù)，這個就不多講了，像大家講的，我們的平臺可以抽取你想要的組建，為上層的應(yīng)用提供服務(wù)。

 

       我們中心通訊整個云計算平臺以及產(chǎn)品的總體的架構(gòu)，大家可以看一下，我們是分為平臺和產(chǎn)品兩個。在下面的話，包括服務(wù)器虛擬化，包括我們的文件系統(tǒng)、緩存、虛擬庫，平臺上面我們有一些更系統(tǒng)化的一些平臺，包括我們的資源運營管理和調(diào)度的平臺，虛擬彈性系統(tǒng)，我們基于這樣一個大的平臺，我們可以提供，中興通訊可以提供相關(guān)的一些云產(chǎn)品，包括IDC，包括云盤，對象存儲，虛擬桌面，這樣的一些產(chǎn)品系統(tǒng)。同時，我們也會對我們原有的一些應(yīng)用，電信增值應(yīng)用，STV。鑒于這個平臺，做一些業(yè)務(wù)的云化，同時在我們整個架構(gòu)這塊，終端這部分的內(nèi)容。

 

       我們有一個MCMP的終端軟件平臺，我們把云計算相關(guān)的，虛擬桌面這樣一些協(xié)議組建，放在平臺里面，這樣可以支撐我們，包括IPTV的機頂盒，云終端的這樣的研發(fā)。

 

       下面講下應(yīng)用云化的架構(gòu)，在我們內(nèi)部也有很多其他項目組的同事問過我，這個應(yīng)用要云化，到底做什么？把這個應(yīng)用，往云計算平臺上面一拷就可以了？這個可以給大家分享一下。首先，如果你這個應(yīng)用，本身如果是分布式的這樣的應(yīng)用，你的應(yīng)用已經(jīng)做到了這種分布式的話，是可以的。如果你的應(yīng)用，原來就是一個大型機和小型機上的一個，沒有被切割的應(yīng)用，我們認(rèn)為，首先要在應(yīng)用層面實現(xiàn)這樣一個分布式，實現(xiàn)分布是一個，可以應(yīng)用我們云計算平臺的，可以彈性擴充，彈性伸縮，這樣一些優(yōu)點。同時，我們希望在應(yīng)用層面，應(yīng)用這塊，也要有一個調(diào)度部署的系統(tǒng)，可以對你的應(yīng)用，進(jìn)行一些監(jiān)控，應(yīng)用繁忙，或者是空閑的時候，可以對你本身業(yè)務(wù)處理的數(shù)量進(jìn)行一些調(diào)整，這個時候也可以調(diào)用底層云計算產(chǎn)品對外的接口，做一些資源的接口，調(diào)度和部署，子系統(tǒng)不一定要在系統(tǒng)合作，其實我們在云計算的計算資源管理中心，也是有這個資源，本身里面有一個資源調(diào)度和管理的機制。這塊僅僅是說我們可以做到虛擬化軟件做的事情，我在底層發(fā)現(xiàn)你的業(yè)務(wù)，就會集中去簽，關(guān)掉一些物理機器，做不到就關(guān)掉一些業(yè)務(wù)數(shù)據(jù)。所以在業(yè)務(wù)層面，如果有調(diào)度和部署這樣的系統(tǒng)，如果我的業(yè)務(wù)處理已經(jīng)有增加或者減少的時候，前端的負(fù)載均衡設(shè)備，也會做策略上的調(diào)整，也需要調(diào)動系統(tǒng)對他做一個策略的調(diào)整。

 

       中興通訊在云存儲方案上的一些共享。首先講一下我們的總體架構(gòu)。整個云存儲的平臺和產(chǎn)品，這上面是一個硬件，也可以是存儲服務(wù)器，中間那層是平臺層，其實是有三塊存儲引擎，包括分布式系統(tǒng)和緩存，分布式數(shù)據(jù)庫，在產(chǎn)品業(yè)務(wù)層，可以提供像集群NAS，對象云存儲，網(wǎng)盤，統(tǒng)一存儲，數(shù)據(jù)挖掘等應(yīng)用。分布式文件系統(tǒng)這樣一個架構(gòu)，大家可以看一下，分布式文件系統(tǒng)的架構(gòu)，跟谷歌的GFS還是很像的，包括FIR，F(xiàn)IC，分別對應(yīng)的就是服務(wù)器，包括文件的訪問服務(wù)器和客戶端，我們在這個基礎(chǔ)上，做了很多的完善和優(yōu)化的工作。作為一個設(shè)備廠家，面對的應(yīng)用是比較通用的一些應(yīng)用。我們的用戶也是比較多的，用戶的需求也比較多。

 

       在他的搜索這樣一個業(yè)務(wù)里面，去使用他這個GFS，這個系統(tǒng)被簡化了很多。從存儲系統(tǒng)的關(guān)鍵方向來看，我們也分成了四類，包括讀寫性能，數(shù)據(jù)可靠性，存儲空間，硬盤。硬盤技術(shù)限制了存儲系統(tǒng)的性能，99年的時候，7200轉(zhuǎn)，現(xiàn)在到了15000轉(zhuǎn)的水平。硬盤的水平不符合摩爾定律，本身也是限制能力，硬盤本身的價格和容量的角度，它還是一個很大的應(yīng)用空間，這是一個矛盾。從我們整個我們的云存儲的解決方案，有幾個方面對性能做一些優(yōu)化。首先，我們有多副本技術(shù)，可以把一個文件，把它拆分以后，分到不同的存儲服務(wù)器，這個文件被訪問的時候，多個數(shù)據(jù)節(jié)點，同時為訪問進(jìn)行服務(wù)，這樣的話可以釋放存儲的IO，副本的個數(shù)是可以設(shè)的，就是說我們用戶可以設(shè)定副本，是從一個到五個，同時副本的分塊也是可以設(shè)的，這塊我們可以根據(jù)應(yīng)用的需求，讓我們從64K到120兆都可以存儲。

 

       解決性能問題，主要是分級存儲這樣一個方案?；趯狳c數(shù)據(jù)的統(tǒng)計做一些策略，比如我們可以把一些熱點的數(shù)據(jù)，放在SSD的硬盤里面去，可以利用熱點統(tǒng)計，比如對于熱點，訪問熱點比較高的數(shù)據(jù)，提高他的副本數(shù)量，同時，我們用SSD做分級存儲的話，我們這個策略也是比較靈活的，可以以節(jié)點，或者以磁盤為單位，在整個大的集群里面，有專門的SSD的存儲節(jié)點做存儲，有些應(yīng)用可以在節(jié)點上把磁盤分為兩類，一類是SSD的一類是其他的。SSD本身它的讀寫，尤其是讀的性能非常高，在讀的過程當(dāng)中，經(jīng)常會有性能大幅度的下降，尤其是在寫數(shù)據(jù)的頻率也比較高，有時候會跌到零，下面這一塊，我們抓到一個，從400兆這樣一個性能，跌到100兆這樣的水平，可以根據(jù)運用的場景，我們可以把我們系統(tǒng)的SSD分成兩類，一類專門用作寫板，一類專門用作讀板，自動的附載均衡，我們可以對節(jié)點訪問性能的統(tǒng)計，有些節(jié)點超越我們承受的扶在的零界點，熱點的數(shù)據(jù)，放在相對比較空閑的節(jié)點去。這塊是指數(shù)據(jù)，在原數(shù)據(jù)這塊，我們也是可以對目錄節(jié)點做一些統(tǒng)計，我們可以把相對比較熱的原數(shù)據(jù)，放在比較空閑的原數(shù)據(jù)服務(wù)器上。

 

        我們怎么存儲容量的解決方案？本身應(yīng)用來講，把拿來的網(wǎng)站，對文件數(shù)量的支持是沒有太多的要求的，但是從我們的應(yīng)用角度來講，我們其實面對的應(yīng)用比較多，我們可能會有上十億的文件的數(shù)量的需求，包括我們有上十批這樣的存儲空間的需求，因此，我們在這個地方做了一些改進(jìn)，我們是相當(dāng)于是在整個架構(gòu)上面，主要實現(xiàn)了兩塊，一個是我們的系統(tǒng)分域，以及原數(shù)據(jù)的一個MDS的一個集群，技術(shù)特征給大家分享一下：我們可以最大支持64個分域，每個系統(tǒng)是16個節(jié)點，在這個域里面，最大可以支持八個元素，支持100G的對象或者是文件存儲，可以支持像EC，副本、壓縮、消重等存儲策略按域進(jìn)行設(shè)置。

 

       講到存儲的可靠性或者容量的話，存儲編碼的技術(shù)，給大家分享一個數(shù)據(jù)：英特爾公布這樣的一個數(shù)據(jù)，搭建這樣一個云存儲的系統(tǒng)，從成本的角度來講，還是硬盤這一塊的成本占比是最高的，如果沒有一個比較好的存儲的編碼，我們的存儲系統(tǒng)，在成本，包括在功耗，占地空間上面，都會存在一些問題。常見的比如說我們可以看下，一些數(shù)據(jù)保護(hù)的技術(shù)，包括像副本技術(shù)，副本技術(shù)是尊出空間，兩個副本就2，3個副本就是3，RADI用到的很多，尤其是在集群的云存儲里面，因為集群里面有很多節(jié)點，節(jié)點會失效，這種情況下至少會造成短時間的某些數(shù)據(jù)訪問不到，在這一塊的話，我們支持EC編碼這樣一些技術(shù)，這個技術(shù)大家可以理解，基于硬盤挑戰(zhàn)的技術(shù)，EC是基于節(jié)點這樣一個挑戰(zhàn)技術(shù)，這樣的話，我們可以看一下，我們的存儲效率，可以達(dá)到63%，同時，我們數(shù)據(jù)可靠性可以到十的負(fù)8次方。

 

       其實在這塊，我們到底是用副本還是用EC，這些都是可以分場景來看，我們不能絕對地說EC編碼或者副本的方式會更好，比如說對于數(shù)據(jù)訪問延時比較高，比如像這種大數(shù)據(jù)處理這樣一種應(yīng)用場景，我們認(rèn)為還是用副本的方式比較好。我們對響應(yīng)性的要求不高，重要的備份、互聯(lián)網(wǎng)云存儲的服務(wù)，這塊我們推薦可以用EC，鑒于這兩個之間的用戶需求，我們可以用副本的編碼，系統(tǒng)來講，這幾種方式我們都是可以支持的。

 

       去重技術(shù)。在我們系統(tǒng)當(dāng)中都是可以支持的，我們主要是用于，比如一個租戶，到我們這里來申請空間，它的應(yīng)用場景主要是用于，對他數(shù)據(jù)做一些備份了歸檔，這樣情況下我們推薦。作為一個正常的一些數(shù)據(jù)來講，可以提升數(shù)據(jù)的利用率，可以提升50%，如果對于備份和歸檔，做到百分之八十到九十這樣的水平。數(shù)據(jù)壓縮從我們產(chǎn)品的角度來講，我們可以支持像LZO，ZLIB等多種壓縮算法，數(shù)據(jù)包括應(yīng)用的類型，可以做一些數(shù)據(jù)和選擇，而且我們這些壓縮算法，這些設(shè)置，我們可以按照租戶，按照存儲域，不同程度可以設(shè)置。整體是可以做到3比2比1。在研字上面會一點，壓縮180M話單數(shù)據(jù)時間1.2S，壓縮比10比1，清華大學(xué)合作過，我們一起做過的事情。

 

       數(shù)據(jù)可靠性，首先是數(shù)據(jù)恢復(fù)。我們的系統(tǒng)可以基于不同的維護(hù)，包括節(jié)點，磁盤、數(shù)據(jù)塊等數(shù)據(jù)恢復(fù)，同時我們可以提供基于副本、EC、Raid的恢復(fù)機制，可以根據(jù)應(yīng)用場景進(jìn)行設(shè)置，下面的這張圖舉了一個例子，基于節(jié)點這樣一個數(shù)據(jù)恢復(fù)，節(jié)點和副本這樣數(shù)據(jù)恢復(fù)的機制，三個存儲節(jié)點，這些數(shù)據(jù)在剩余的幾個還有，系統(tǒng)發(fā)現(xiàn)以后，我會在這兩個節(jié)點上，把這個數(shù)據(jù)重新恢復(fù)，恢復(fù)他相應(yīng)的副本部署。

 

       還有一塊，我們是基于CRC的校驗進(jìn)行內(nèi)容的糾錯和容錯功能。我們每64K的數(shù)據(jù)庫做一個分布，應(yīng)用來訪問數(shù)據(jù)的時候，這個過程當(dāng)中會對數(shù)據(jù)做校驗，如果發(fā)現(xiàn)錯誤，系統(tǒng)可以控制應(yīng)用，內(nèi)部我們可以去讓這個應(yīng)用，到有正確數(shù)據(jù)的節(jié)點去獲取相應(yīng)的數(shù)據(jù)。拍照技術(shù)這邊不多講了，基于客戶和存儲域做這樣一個快照的策略設(shè)置。

 

       下面主要講一下我們整個云存儲的這個產(chǎn)品的這樣一個擴展能力。因為本身云計算和云存儲，重要的特征是可伸縮可拓展，從我們的系統(tǒng)角度來講，我們是支持本身存儲域的數(shù)量，以及本身存儲與內(nèi)部空間大小，可以做自動的這樣的一個擴展。

 

        在這樣一個集群里面，可以增加一個機器，首先我會到我們的原數(shù)據(jù)服務(wù)區(qū)去注冊，其他節(jié)點的數(shù)據(jù)附載出來，這樣的話我們做到了數(shù)據(jù)的一個彈性擴展，整個系統(tǒng)的一個容量的彈性擴展。整個我們的云存儲產(chǎn)品，塊存儲，文件存儲，對象存儲，結(jié)構(gòu)化數(shù)據(jù)的一個存儲，這樣一些功能。下面主要介紹一下基于我們整個我們的存儲平臺，我們可以做的一些云存儲的一些解決方案，包括我們的云盤的方案，我們可以看一下，底層的存儲層我們有分布式文件系統(tǒng)和高度緩存，在我們的系統(tǒng)里面，我們把大于1兆的文件放在系統(tǒng)當(dāng)中，小于1兆的放在高速緩存當(dāng)中，熱點的數(shù)據(jù)放在緩存的集群當(dāng)中去，對于用戶的一些數(shù)據(jù)，包括用戶信息，包括用戶的目錄結(jié)構(gòu)，放在我們的模式數(shù)據(jù)庫里面。同時我們通過我們的服務(wù)集群，對外服務(wù)我們的云盤整體的服務(wù)。在客戶端，包括手機和pad的客戶端這樣一些。

 

       基于我們這個存儲引擎這塊，我們可以做像對象存儲這樣一個解決方案，大家可以看一下，我們對底層，我們可以用我們的分布式文件系統(tǒng)，在這上面，我們可以做一個基于策略的數(shù)據(jù)服務(wù)，多租戶這樣一個模型，對這個應(yīng)用，對外部服務(wù)可以有文件服務(wù)等等?；谖覀兊拇鎯Γ郧拔覀円部梢蕴峁┘篘AS的這樣一個解決方案。在集群NAS的解決方案有三個核心。第一塊是分布系統(tǒng)，作為我們的存儲引擎，同時我們自研了一套集群套件，我們可以提供集群NAS的功能，同時我們使用我們自研的負(fù)載均衡的套件，提供負(fù)載均衡的功能。

 

       下面講三個案例，我們實實在在的應(yīng)用案例。第一塊是我們在國內(nèi)的某個電訊運營商，提供了一個對象存儲的應(yīng)用，總體來講，有十批的總的容量空間，支持訪問和壓縮的功能。第二個應(yīng)用案例，我們應(yīng)用于國家某一個網(wǎng)絡(luò)電視公司，用來做視頻生產(chǎn)基地這個案例，這個案例存儲，應(yīng)用系統(tǒng)其實是跨地域的，同時，我們在整個網(wǎng)絡(luò)里面，我們是有三個生產(chǎn)基地，也就是說我們的存儲系統(tǒng)，底層的存儲系統(tǒng)分成三塊，基于我們的存儲系統(tǒng)，我們上面的應(yīng)用，包括像采集收入、片集制作、數(shù)據(jù)管理、內(nèi)容的分發(fā)這樣的應(yīng)用，整個云存儲這樣的空間，總體的云存儲解決方案，在這個應(yīng)用里面，整個存儲空間是在200P左右。

 

       這是我們在某個跨國電信運營商的家庭存儲的應(yīng)用案例。這邊大概介紹一下，我們公司是IPTV系統(tǒng)全球第二的策略供貨商，解決方案是家庭的云存儲這樣的一個業(yè)務(wù)，實現(xiàn)家庭業(yè)務(wù)的多終端的媒體資源，大家可以看一下，在家庭里面，其實我們正常的是我們的機頂盒都是不帶硬盤的。機頂盒如果帶硬盤，從成本上來講，從本身硬盤的返修來講，運營商、設(shè)備商都是受不了的，我們搭建了云存儲的系統(tǒng)，機頂盒通過接口訪問我們的云存儲系統(tǒng)，我們可以為這個家庭，家庭使用這樣云存儲很大這樣的空間。同時在整個家庭里面，可以通過內(nèi)容共享這樣一個協(xié)議。比如說我們掛載在機頂盒上面云存儲的空間，里面存著這樣一些，比如說云媒體文件，在手機上做共享！

 

       謝謝大家！