蘋果北卡羅來納梅登數(shù)據(jù)中心俯瞰圖(騰訊科技配圖)
騰訊科技訊(瑞雪)北京時間3月15日消息,《連線》雜志近日刊載文章稱,蘋果和Facebook都正在從企業(yè)級固態(tài)硬盤廠商Fusion-io那里購買新一代的硬件設(shè)備,旨在推動自身數(shù)據(jù)中心的發(fā)展。文章指出,內(nèi)存世界和硬盤世界之間的界限正在變得模糊,而閃存卡在很大程度上被認為是服務(wù)器存儲的未來。
以下是這篇文章的全文:
如果你雇一架飛機,就能飛過蘋果在北卡羅來納州林地中運營著的規(guī)模宏大的數(shù)據(jù)中心,為這座占據(jù)50萬平方英尺(約合4.6萬平方米)的大型設(shè)施拍下一些遠景照片,它是蘋果iCloud網(wǎng)絡(luò)服務(wù)背后的推動力。而如果你是步行的話,那么不妨靠得近一些;蛟S你甚至可以偷偷看一眼太陽能電站或是生物質(zhì)能發(fā)電廠,它們?yōu)檫@座數(shù)據(jù)中心提供電力。但蘋果不會允許你進入到這座建筑物里面,也不會告訴你在那里可能會找到什么。如果能知道那就太好了。
跟谷歌(微博)和亞馬遜一樣,蘋果也向全球范圍內(nèi)的數(shù)億人提供網(wǎng)絡(luò)服務(wù)——最新的統(tǒng)計數(shù)字顯示,iCloud的用戶人數(shù)超過了2.5億——這就需要全新的硬件和軟件,其數(shù)據(jù)中心里的設(shè)備需要比大多數(shù)其他數(shù)據(jù)中心都要更有效率。你可以認為這是未來的技術(shù);隨著網(wǎng)絡(luò)服務(wù)的繼續(xù)增長,蘋果和谷歌之流所使用的技術(shù)將逐漸滲入世界其他地方。事實上,在很多情況下,這種滲透已經(jīng)開始了。
“這些互聯(lián)網(wǎng)巨頭都是先驅(qū)者!睌(shù)據(jù)中心領(lǐng)域中的長期分析師、目前負責(zé)運營在線技術(shù)研究社區(qū)Wikibon的大衛(wèi)·佛羅耶(David Floyer)說道。
我們所知道的事情是,蘋果正在花費大量資金從一家名為Fusion-io的公司那里購買新一代的硬件設(shè)備,后者是一家企業(yè)級固態(tài)硬盤廠商。按照相關(guān)規(guī)定,F(xiàn)usion-io需要披露通常在其營收中占有較大比例的客戶信息;據(jù)這家總部位于鹽湖城的公司發(fā)布的最新年報顯示,2012年該公司營收的25%(8980萬美元)來自于蘋果。這只是來自一家公司的一個數(shù)據(jù)而已,但這個數(shù)據(jù)可以作為一個“標(biāo)桿”,向我們展示現(xiàn)代的數(shù)據(jù)中心正在走向何方。
在蘋果于北卡羅來納州梅登(Maiden)運營的數(shù)據(jù)中心或是其他類似規(guī)模的數(shù)據(jù)中心里,你會看到成千上萬的服務(wù)器。Fusion-i生產(chǎn)的一種纖巧的卡片會被插入這些服務(wù)器,跟數(shù)以百計的大容量閃存擠在一起,這些東西把持著你智能手機上的所有軟件和數(shù)據(jù)。你可以把這種卡片視為通常會被用于服務(wù)器的老式硬盤的替代品,它在很大程度上就像是一塊硬盤,能存儲各種信息。不過,這種卡片沒有任何活動件,這意味著它一般會更加可靠。跟傳統(tǒng)硬盤相比,它消耗的電量更小,而且能讓你更快地讀寫數(shù)據(jù)。
但那只是這種卡片的功能之一,它同時還可作為加強版的服務(wù)器主存儲子系統(tǒng)運行,這個子系統(tǒng)是中央處理器暫時緩存數(shù)據(jù)的地方,以便在需要時迅速調(diào)用。你知道,今時今日速度超快的處理器不僅是讓硬盤根不上它的速度,就連主存儲器也是如此——硬盤轉(zhuǎn)速過慢,內(nèi)存空間過小——而通過自身生產(chǎn)的閃存卡,F(xiàn)usion-io的目標(biāo)是克服這兩個瓶頸。
“如果愿意的話,你可以把它做成傳統(tǒng)硬盤的樣子,但也能像現(xiàn)在的樣子,讓一個系統(tǒng)內(nèi)部能容納更多的硬盤。”Fusion-io首席執(zhí)行官大衛(wèi)·弗林(David Flynn)說道,這位工程師與連續(xù)創(chuàng)業(yè)家里克·懷特(Rick White)在2006年聯(lián)手創(chuàng)建了這家公司。“我們之所以將其稱為Fusion-io,是因為它是內(nèi)存與硬盤的融合體,而且兩者是密不可分的!
其結(jié)果就是,像蘋果這樣的公司能更有效地處理從互聯(lián)網(wǎng)各處流入其數(shù)據(jù)中心的所有請求。這個數(shù)據(jù)中心能更快地交付數(shù)據(jù),而且是在所用服務(wù)器更少的情況下做到這一點——對于規(guī)模如此龐大的業(yè)務(wù)來說,用較少的服務(wù)器來交付數(shù)據(jù)是一件至關(guān)重要的事情。這就是為何蘋果要花那么多錢在Fusion-io身上的原因所在,也是為何其他許多公司正朝著同一個方向前進的原因所在。在2012年,F(xiàn)acebook花在從Fusion-io那里購買硬件的錢比蘋果更多,為1.0779億美元。整體來說,在過去幾年時間里,這兩家互聯(lián)網(wǎng)巨頭已經(jīng)在Fusion-io身上花了將近5億美元,而云計算公司Salesforce.com等規(guī)模較小但卻正在增長中的公司也同樣正在使用這種閃存卡。
Fusion-io已經(jīng)在這些龐大的數(shù)據(jù)中心里取得了如此巨大的成功,這促使其他許多公司也爭相跟風(fēng)。就在上周,科技巨頭EMC剛剛發(fā)布了一整套新的閃存卡產(chǎn)品,硅谷創(chuàng)業(yè)公司Violin Memory也已經(jīng)推出閃存卡。另一家創(chuàng)業(yè)公司Virident Systems正在開發(fā)類似的產(chǎn)品,世界上最大的硬盤廠商之一希捷將在不久以后利用Virident閃存卡“突襲”大型互聯(lián)網(wǎng)公司及其他公司。
Fusion-io閃存卡(騰訊科技配圖)
希捷已經(jīng)在向大型互聯(lián)網(wǎng)公司——包括蘋果、Facebook、谷歌、微軟和亞馬遜在內(nèi)——直接出售硬盤驅(qū)動器,未來也將繼續(xù)這樣做。但這家公司現(xiàn)在所關(guān)注的是,數(shù)據(jù)中心未來將走向何方。“內(nèi)存世界和硬盤世界之間的界限正在變得模糊。”希捷新閃存硬件業(yè)務(wù)部門的負責(zé)人加里·根特里(Gary Gentry)說道!叭藗円呀(jīng)受到了Fusion-io的啟發(fā)!
但這種趨勢并非是由一家公司所推動的。谷歌也正在自己的服務(wù)器內(nèi)部使用閃存卡——去年夏天我們從谷歌全球數(shù)據(jù)中心網(wǎng)絡(luò)負責(zé)人烏爾斯·霍爾澤(Urs Holzle)那里聽說了這個消息——而據(jù)硅谷傳言稱,這家搜索巨頭正在生產(chǎn)自己的閃存卡。微軟告訴我們說,這家公司也在自己的數(shù)據(jù)中心中使用類似的閃存卡,而且在很大程度上認為這將是服務(wù)器存儲的未來。
微軟服務(wù)器工程總經(jīng)理Kushagra Vaid指出,閃存能進一步改進服務(wù)器存儲子系統(tǒng),原因是其具有“非易失性”,意味著當(dāng)你關(guān)閉或是重啟服務(wù)器時,數(shù)據(jù)不會丟失。在研究人員正尋找其他辦法來改進服務(wù)器存儲的同時,Vai認為“正在非易失性存儲領(lǐng)域中發(fā)生的創(chuàng)新”是所有可能性中最有趣的。
Fusion-io聯(lián)合創(chuàng)始人大衛(wèi)·弗林(中)和里克·懷特(右)
靈感源自糟糕的想法
如果你對Fusion-io稍有了解,那么就會知道這家公司的首席科學(xué)家是史蒂夫·沃茲尼亞克(Steve Wozniak),也就是與其高中時代的好友史蒂夫·喬布斯(Steve Jobs)聯(lián)手創(chuàng)立蘋果的那個人,人們經(jīng)常都會親切地把他叫作沃茲。對于Fusion-io的新一代存儲產(chǎn)品而言,沃茲就像是會走路的公關(guān)宣傳品,但這個想法并不是他的,而是發(fā)源于里克·懷特和大衛(wèi)·弗林。
在聯(lián)手創(chuàng)立Fusion-io以前,懷特和弗林曾在一家名為Realm Systems的公司中共事,這家公司出售一種能放在人們口袋里的電腦,這種電腦的設(shè)計目的是讓人們能把自己的在線身份帶到任何地方去——你可以把它插入另一臺電腦,通過指紋掃描或是其他方式來認證身份,然后就能在一瞬間登陸所有軟件應(yīng)用——但是這種產(chǎn)品從來都沒有真正“起飛”,其部分原因是這家公司的資金陷入了干涸狀態(tài)。
當(dāng)兩人開動腦筋構(gòu)思創(chuàng)建一家新公司的想法時,華特建議稱,他們應(yīng)該把Realm微型電腦內(nèi)部的處理器改變下用途。他對弗林說,如果他們能把數(shù)百個這樣的處理器連到一起,那么就能創(chuàng)造出一種低能耗的超級電腦,可在數(shù)據(jù)中心內(nèi)部運行海量應(yīng)用。弗林是一名工程師,他曾在勞倫斯·利弗莫爾國家實驗室(Lawrence Livermore National Labs)等機構(gòu)中制造過超級電腦。他對懷特說道,那是一個糟糕透頂?shù)南敕?#8212;—“他提醒我說,那些微型電腦中的處理器不能做到浮點處理!睉烟鼗貞浀。但是,這種想法觸發(fā)了另外一個想法。
除了處理器以外,Realm微型電腦中還有閃存。他們用閃存來代替硬盤驅(qū)動器,作為對構(gòu)成其存儲子系統(tǒng)的DRAM(動態(tài)隨機存取存儲器)的補充。弗林認識到,把所有這些微型處理器連到一起是沒有意義的,但可以對服務(wù)器進行重新構(gòu)建,使其看起來更像是Realm電腦。
現(xiàn)在有很多公司都已經(jīng)在提供固態(tài)硬盤,這是一種旨在模仿硬盤驅(qū)動器的閃存設(shè)備,看起來與硬盤驅(qū)動器相似,能插入相同的接口。但弗林的目標(biāo)則是另一種不同的東西,他想要生產(chǎn)一種同時還能模仿服務(wù)器存儲子系統(tǒng)的閃存設(shè)備。“我從事過有關(guān)超級電腦的工作。”弗林說道。“我知道這些大型系統(tǒng)最大的問題就是缺少存儲空間。”
從設(shè)計方面來看,今天的服務(wù)器處理器只能使用特定數(shù)量的DRAM。從理論上來說,存儲空間上限是4TB,也就是4000GB;但在實際上,大多數(shù)服務(wù)器所裝配的DRAM都要少得多。弗林的想法是,開發(fā)一種相當(dāng)于二級存儲子系統(tǒng)的產(chǎn)品,從而容納多得多的數(shù)據(jù),而這種想法的結(jié)果就是Fusion-io閃存卡得以誕生。這種閃存卡并非插入硬盤驅(qū)動器的控制器,而是直接插入PCIe接口;換而言之,這種閃存卡與處理器之間的距離變得更近,繞過了運行硬盤驅(qū)動器所需要的全部額外硬件和協(xié)議。
在今天看來,這像是一件顯而易見應(yīng)該去做的事情;但在當(dāng)時,這種想法是相當(dāng)偏離常規(guī)的。這不僅是公司習(xí)慣了在服務(wù)器內(nèi)部僅使用硬盤驅(qū)動器和DRAM的緣故,而且還是因為它們將大部分數(shù)據(jù)都在服務(wù)器以外進行存儲——也就是存儲在所謂的“存儲區(qū)域網(wǎng)”(SAN,storage area network)中。而通過自己生產(chǎn)的閃存卡,F(xiàn)usion-io尋求取代這些笨重的儀器,它把這種閃存卡稱為“手心里的SAN”。
最早的大客戶是Facebook
Fusion-io在2007年秋天推出了閃存卡,當(dāng)時這家公司所獲得的第一個大客戶就是Facebook。弗林與保羅·薩博(Paul Saab)是好友,后者是一名Facebook軟件開發(fā)者,也是FreeBSD開源操作系統(tǒng)的知名捐助人之一。隨后,這兩家公司之間的關(guān)系就開始不斷地進展。時至今日,F(xiàn)usion-io甚至將跟Facebook工程師一起合作設(shè)計新的閃存卡。
蘋果則來的比較晚一些。一種很自然的想法會是,F(xiàn)usion-io與蘋果之間的合作關(guān)系是由沃茲尼亞克——他是在2008年加盟Fusion-io,出任該公司首席科學(xué)家的——推動的,但據(jù)弗林說,事實并非如此。跟通常做法一樣,蘋果并未對有關(guān)討論該公司使用閃存卡一事的請求作出回應(yīng),但Facebook則是另一種態(tài)度。跟蘋果不同,這家社交網(wǎng)絡(luò)巨頭樂于公開自己數(shù)據(jù)中心內(nèi)部使用的硬件和軟件,而該公司新時代的系統(tǒng)應(yīng)該會讓你很好地了解這些閃存卡能如何重塑服務(wù)器。
最初,F(xiàn)acebok將這種閃存卡用在運行其數(shù)據(jù)庫軟件的服務(wù)器中,這也是其他公司對閃存固態(tài)硬盤通常的用法;旧蟻碚f,這些閃存卡取代了硬盤驅(qū)動器。通過在閃存卡而非硬盤驅(qū)動器中運行數(shù)據(jù)庫軟件的方式,F(xiàn)acebook能大幅提高狀態(tài)更新、用戶評論以及其他社交網(wǎng)絡(luò)交流活動的交付速度。
“當(dāng)一項請求進入數(shù)據(jù)庫層面時,我們想要能以非?斓乃俣葘ζ渥鞒鰬(yīng)答。”Facebook硬件設(shè)計主管弗蘭克·弗蘭科夫斯基(Frank Frankovsky)曾這樣對我們說道。“對用戶來說,這是在整體往返時間方面所作出的一種重大改進!迸c此同時,這些閃存設(shè)備還能減少因設(shè)備故障而帶來的麻煩。正如弗蘭科夫斯基所說,數(shù)據(jù)中心內(nèi)部硬盤驅(qū)動器比其他任何設(shè)備都更容易出故障。今天,F(xiàn)aceobok甚至?xí)ㄟ^這些閃存卡來啟動數(shù)據(jù)庫服務(wù)器。
除了運行數(shù)據(jù)庫軟件的服務(wù)器以外,F(xiàn)acebook目前還正在把這種閃存卡用于其他服務(wù)器;而且,閃存卡不僅只是取代硬盤驅(qū)動器,同時也正在取代內(nèi)存。從傳統(tǒng)上來說,F(xiàn)acebook還運營著另一個層面的服務(wù)器,用來運行所謂的“Memcached”緩存系統(tǒng),這是為了對用戶最關(guān)注的東西提供更加迅速的回應(yīng);通過這種數(shù)據(jù),甚至不必訪問數(shù)據(jù)庫層面就能迅速回應(yīng)。這套系統(tǒng)運轉(zhuǎn)得非常好,但Facebook目前正在對這些服務(wù)器也作出改造,創(chuàng)造一個新的軟件平臺,這個平臺能在閃存卡而非在主存儲器中緩存數(shù)據(jù)。
通過這個名為“McDipper”的新平臺,F(xiàn)acebook能緩存的數(shù)據(jù)量遠超以往!伴W存能讓每臺服務(wù)器的容量提高最多二十倍,同時仍可支持每秒鐘數(shù)萬次的操作。”這家公司在最近發(fā)表的一篇博客文章中說道。“很明顯這正是對這個問題的解答!
微軟的Kushagra Vaid指出,雖然這種設(shè)備的速度仍舊遠遠低于主存儲器,但已經(jīng)足夠快,而且能耗較低。當(dāng)數(shù)據(jù)中心的規(guī)模達到微軟、Facebook或蘋果的水平時,保持較低的能耗就跟其他任何事情一樣重要了。他進一步指出,使用閃存設(shè)備的關(guān)鍵點在于,這種設(shè)備能帶來更多的選擇,而且從長期來看,這些選擇只會日益擴張。“這個新的平臺架構(gòu)只花了兩年時間就已被創(chuàng)造出來。”他解釋道!暗浇裉,在如何平衡性能和能耗的問題上,應(yīng)用已經(jīng)變得更加精明,原因是其可以在系統(tǒng)內(nèi)存和非易失性存儲器之間選擇合適的平衡點!
軟件公司
Facebook是從頭開始構(gòu)建McDipper平臺的,這也可以證明閃存卡到底正在多大程度上改變數(shù)據(jù)中心,F(xiàn)有軟件并非為了在閃存卡上運行而設(shè)計的,因此必須設(shè)計新的軟件。這就是為何Fusion-io會有工程師在蘋果和Facebook等最大客戶的數(shù)據(jù)中心里工作的原因所在,同時也是為何這家公司要聘用多名因善于Linux內(nèi)核相關(guān)工作而著稱的軟件開發(fā)者的原因所在。在大型互聯(lián)網(wǎng)數(shù)據(jù)中心里,大多數(shù)機器搭載的開源操作系統(tǒng)的核心都是這種軟件?死锼·梅森(Chris Mason)是這些開發(fā)者中的一員,他曾負責(zé)一個名為Btrfs的Linux文件系統(tǒng);此外還有詹斯·艾克索伯(Jens Axbo),他曾開發(fā)過多種Linux數(shù)據(jù)輸入和輸出相關(guān)工具。
“與人們在過去數(shù)十年時間里一直都在使用的存儲設(shè)備相比,現(xiàn)在的存儲設(shè)備已經(jīng)大不相同,它們打破了一整套規(guī)則,以迥異于以往的方式運行,能做到以前不可能做到的許多事情。”梅森說道!暗惚仨氁獙诵能浖鞒龈淖儯拍茏龅竭@一點!
梅森和弗林解釋道,之所以要對Linux及其他軟件作出改變,目的是要對其進行調(diào)整,從而在最大程度上利用閃存卡。同時,這還是為了讓公司能更加容易地開發(fā)自己的軟件,F(xiàn)在,F(xiàn)usion-io正在提供一個軟件開發(fā)工具包,方便開發(fā)者設(shè)計基于閃存卡的工具。弗林說道,今時今日的Fusion-io已經(jīng)在很大程度上變成了一家軟件公司,而不是硬件公司。
這一點在這家公司最近為“開源計算項目”(Open Compute Project)所作出的貢獻中可見一斑,這是由Facebook牽頭進行的一個項目,旨在為數(shù)據(jù)中心創(chuàng)造出新的硬件設(shè)計,并且將這些設(shè)計與全世界共享。在這個冬天,F(xiàn)usion-io將其閃存卡設(shè)計開源化,公布了除控制器以外的其他所有信息,目的是推動人們開發(fā)出更多能運行其新軟件的閃存設(shè)備。
弗林說道,他們的希望看到的是,廣達(Quanta)和緯創(chuàng)(Wistron)這樣的電腦廠商將在服務(wù)器主板中直接整合閃存,從而使其更加靠近處理器。畢竟,那才是數(shù)據(jù)中心未來將走向的方向。