據(jù)國外媒體報(bào)道，谷歌將GPS天線和高精度的原子鐘裝到了它的服務(wù)器中，并通過Spanner系統(tǒng)創(chuàng)造性地讓全球多個(gè)數(shù)據(jù)中心和數(shù)百萬臺(tái)服務(wù)器之間保 持信息同步。三年前，有人問一位名為維杰-吉爾（Vijay Gill）谷歌高級工程師，如果給他一根魔棒，他會(huì)用它來做什么。
谷歌的神奇魔棒
當(dāng)時(shí)，吉爾正幫助谷歌運(yùn)行其網(wǎng)絡(luò)帝國背后的龐大數(shù)據(jù)中心網(wǎng)絡(luò)。在美國舊金山商業(yè)區(qū)的一次會(huì)議上，他談?wù)摿巳驑I(yè)務(wù)所面臨的獨(dú)特挑戰(zhàn)。負(fù)責(zé)監(jiān)管 Facebook數(shù)據(jù)中心的喬納森-黑爾格（Jonathan Heilger）坐在離吉爾幾個(gè)席位的地方。正是他問了吉爾這個(gè)問題：如果他有一個(gè)魔棒，他會(huì)給谷歌的數(shù)據(jù)中心增添一些什么東西。
吉爾在回答前略微猶豫了一下。在回答的時(shí)候，他似乎顯得有些含糊其辭。但是，他的意思似乎是他會(huì)用這根魔棒來打造一個(gè)單獨(dú)的系統(tǒng)，自動(dòng)而迅速地處理所有谷歌數(shù)據(jù)中心的信息。接著，他暗示谷歌已經(jīng)建立了一個(gè)這樣的系統(tǒng)。“你如何在全球范圍內(nèi)管理這個(gè)系統(tǒng)，并進(jìn)行優(yōu)化呢？”他說，“這就是最有趣的部分。”
這聽起來是一個(gè)非常棘手的問題。但是，在大約四個(gè)月后，谷歌又透露了另一條消息。在蒙大拿山區(qū)的一次研討會(huì)上，谷歌最舉足輕重的工程師之一杰夫 -迪恩（Jeff Dean）透露，該網(wǎng)絡(luò)巨頭正在研制一種名為Spanner的東西，并形容它是“跨越我們所有數(shù)據(jù)中心的存儲(chǔ)和計(jì)算系統(tǒng)”.他表示，該計(jì)劃的目的是同時(shí)處理全球“數(shù)百乃至數(shù)千個(gè)”數(shù)據(jù)中心的1000萬臺(tái)服務(wù)器中的數(shù)據(jù)。
該項(xiàng)目的覆蓋范圍令人難以想象。但是，迪恩并未透露相關(guān)詳情。而且，目前尚不清楚，谷歌是否正在其現(xiàn)有的數(shù)據(jù)中心使用這個(gè)平臺(tái)。
Spanner項(xiàng)目
本周，據(jù)科技博客GigaOm和ZDnet報(bào)道，谷歌已發(fā)表了一篇研究論文，詳細(xì)闡述了Spanner的情況。谷歌聲稱，這是首個(gè)能在全球數(shù)據(jù)中心網(wǎng)絡(luò)快速存儲(chǔ)和檢索信息的數(shù)據(jù)庫，而且，它還能夠保持信息的“一致性”,即任何用戶在任何時(shí)候均能夠看到同樣的信息。多年來，它一直推動(dòng)著該公司廣告系統(tǒng)和其他各種網(wǎng)絡(luò)服務(wù)的發(fā)展。
Spanner借用了谷歌為其數(shù)據(jù)中心打造的其他大規(guī)模軟件平臺(tái)的技術(shù)，但是，從本質(zhì)上來說，它是全新的東西。Spanner接入到了裝有超精確原子鐘或GPS天線（類似于智能手機(jī)上的那種）的服務(wù)器網(wǎng)絡(luò)上，并利用這些計(jì)時(shí)器在這樣龐大的網(wǎng)絡(luò)上精確地同步發(fā)行數(shù)據(jù)。你沒有聽錯(cuò)，谷歌將 GPS天線和精確的原子鐘裝到了它的服務(wù)器中。
“這是很了不起的事情，而且確實(shí)具有創(chuàng)造性。”數(shù)據(jù)存儲(chǔ)公司Basho的首席架構(gòu)師安迪-格羅斯（Andy Gross）說。該公司開發(fā)的開源數(shù)據(jù)庫Riak已運(yùn)行在數(shù)千臺(tái)服務(wù)器上，但是仍然沒有Spanner的覆蓋面廣。“傳統(tǒng)的智慧認(rèn)為，在全球范圍內(nèi)像這樣的時(shí)間同步是不現(xiàn)實(shí)的。”
Spanner項(xiàng)目聽起來就像是一項(xiàng)不同尋常的事業(yè)，當(dāng)然，它也要處理日常工作中遇到的一般問題。很少有公司像谷歌這樣被迫如此迅速地處理如此多的數(shù)據(jù)。但是，谷歌大規(guī)模數(shù)據(jù)中心的技術(shù)總會(huì)流向技術(shù)領(lǐng)域中的其他公司。最典型的例子就是廣泛使用的大數(shù)據(jù)平臺(tái)Hadoop,它就模擬了谷歌的技術(shù)。而且，這種發(fā)展趨勢可能會(huì)持續(xù)下去。
“如果你希望知道未來大規(guī)模、高性能的數(shù)據(jù)處理架構(gòu)是什么樣子的，我建議你讀一讀谷歌剛剛發(fā)表的研究論文。”Hadoop開源軟件整體方案供應(yīng)商 Cloudera 公司的CEO邁克-奧爾遜（Mike Olson）最近在硅谷的一次活動(dòng)中說。據(jù)Cloudera公司的產(chǎn)品副總裁查爾斯-澤德勒維斯基（Charles Zedlewski）稱，該公司（在招聘谷歌前工程師后）已聽說了Spanner,它最終可能會(huì)將該論文中的思想轉(zhuǎn)變成它的軟件。
Facebook正在打造類似于Spanner的系統(tǒng)，其目的也是同時(shí)處理多個(gè)數(shù)據(jù)中心的信息。我們通過與Facebook交流獲悉，該公司的這個(gè)系統(tǒng)名為Prism,與谷歌的Spanner完全不同。但是，它表明其他公司現(xiàn)在正在想法處理谷歌在過去幾年中遇到的問題。
這篇有關(guān)Spanner的論文有很多人署名，但其中有兩位非常杰出：杰夫-迪恩和桑杰-格瑪沃特（Sanjay Ghemawat）。在從昔日電腦巨頭DEC研究部門跳槽到谷歌后，迪恩和格瑪沃特幫助谷歌設(shè)計(jì)了三個(gè)大規(guī)模軟件平臺(tái)，它們對于其他互聯(lián)網(wǎng)公司產(chǎn)生了較大的影響。MapReduce和Google File System最終導(dǎo)致了Hadoop的誕生，而BigTable幫助孕育出了一系列適合于存儲(chǔ)和檢索大量信息的NoSQL數(shù)據(jù)庫。
Spanner利用了BigTable的技術(shù)，但是它走得更遠(yuǎn)。BigTable常用于在單個(gè)數(shù)據(jù)中心的數(shù)千臺(tái)服務(wù)器上存儲(chǔ)信息，而Spanner則更進(jìn)一步，在數(shù)百萬個(gè)服務(wù)器和多個(gè)數(shù)據(jù)中心存儲(chǔ)信息。
這個(gè)平臺(tái)最具創(chuàng)意的部分就是谷歌所謂的TrueTime API.API是應(yīng)用程序編程接口的意思，但在這里，它是指其服務(wù)器接入的中央數(shù)據(jù)傳送專線�；旧�，TrueTime就使用GPS天線和原子鐘來維持谷歌整個(gè)網(wǎng)絡(luò)的運(yùn)行。GPS天線利用了全球定位系統(tǒng)（Global Position System），該系統(tǒng)利用一系列太空衛(wèi)星來跟蹤時(shí)間和地理位置，而原子鐘則利用單個(gè)原子屬性來保持準(zhǔn)確的時(shí)間。
用計(jì)時(shí)器保證服務(wù)器網(wǎng)絡(luò)同步
谷歌拒絕討論Spanner.“這篇論文已說得很清楚了。”該公司發(fā)言人說。但是，她指出了該論文中突出強(qiáng)調(diào)API重要性的部分。“我們的設(shè)計(jì)中有一個(gè)方面非常突出。”這篇論文寫道，“Spanner功能組的關(guān)鍵就是TrueTime.”
要理解TrueTime,你就必須弄清楚現(xiàn)有數(shù)據(jù)庫的局限性�，F(xiàn)在有很多數(shù)據(jù)庫是專門用于在數(shù)千臺(tái)服務(wù)器上存儲(chǔ)數(shù)據(jù)的。其中大多數(shù)借鑒了谷歌的 BigTable數(shù)據(jù)庫或亞馬遜的類似存儲(chǔ)系統(tǒng)Dynamo.它們運(yùn)行良好，但是卻無法同時(shí)處理多個(gè)數(shù)據(jù)中心的信息--至少不能夠讓多個(gè)數(shù)據(jù)中心的信息始終保持一致。
據(jù) Basho公司的首席架構(gòu)師安迪-格羅斯稱，問題的關(guān)鍵在于服務(wù)器必須不斷地交流，以確保它們能夠正確存儲(chǔ)和檢索數(shù)據(jù)。Basho公司的Riak數(shù)據(jù)庫是在亞馬遜Dynamo的基礎(chǔ)上開發(fā)出來的。如果你在多個(gè)地理位置的數(shù)據(jù)中心來運(yùn)行它，你就可能會(huì)讓系統(tǒng)崩潰。“你必須不斷地交流，以確定所有交易的秩序是正確的。”格羅斯說，“潛在的制約因素通常是建立快速數(shù)據(jù)庫的成本高得令人望而卻步。”
大數(shù)據(jù)公司10gen的首席執(zhí)行官麥克斯-希雷森（Max Schireson）從不同的角度進(jìn)行了解釋。該公司的 MongoDB數(shù)據(jù)庫效法了BigTable.希雷森稱，假設(shè)你用一種網(wǎng)絡(luò)服務(wù)在兩個(gè)銀行賬戶之間轉(zhuǎn)賬，其中一個(gè)銀行賬戶在歐洲，另一個(gè)在亞洲。如果你在歐洲，這種轉(zhuǎn)賬過程似乎能夠完成。但是，對于在亞洲的某個(gè)人來說，它可能完成不了，因?yàn)榇嬖?span id="myugaas" class="black1">通信延遲的問題。
他繼續(xù)說，可能還存在這樣的情況：一個(gè)觀察者在同一時(shí)間看到兩個(gè)銀行賬戶都有這筆錢。簡而言之，該服務(wù)可能無法總像廣告標(biāo)榜的那樣完美，因?yàn)槊總�(gè)人看到的數(shù)據(jù)并不相同。在這個(gè)例子中，數(shù)據(jù)是不一致的。
如果再看看數(shù)以百萬計(jì)的人使用的服務(wù)，你可以看出這個(gè)問題有多大。“如果有大量的人訪問分布于世界各地的大量的系統(tǒng)，由于它們相互之間的通信延遲時(shí)間較長，因此你就很難保持所有的事情同步。”他說，“如果你增加那些影響因素，同步就會(huì)變得更加困難。”
借助于TrueTime,Spanner成功解決了這個(gè)問題，它采用的方法令所有人感到意外。谷歌不是著眼于改善服務(wù)器之間的通信，而是在其服務(wù)器網(wǎng)絡(luò)上到處安裝時(shí)鐘。它將GPS天線或原子鐘安裝到各種不同的服務(wù)器上，與TrueTime API協(xié)同工作。最終，這些計(jì)時(shí)器保證了整個(gè)服務(wù)器網(wǎng)絡(luò)同步運(yùn)行。
谷歌做法值得借鑒
“（除了谷歌外）當(dāng)前有許多研究專注于機(jī)器之間的復(fù)雜的協(xié)調(diào)協(xié)議……但是，谷歌卻采用了完全不同的方法。”格羅斯說，“通過使用高精度的時(shí)鐘和一個(gè)對時(shí)間非常靈敏的API,Spanner可讓服務(wù)器節(jié)點(diǎn)不必經(jīng)過復(fù)雜的通信就能夠變得協(xié)調(diào)一致。”
簡而言之，TrueTime API利用了這些重要的計(jì)時(shí)器，而網(wǎng)絡(luò)上的服務(wù)器則利用了這些API.然后，TrueTime告訴服務(wù)器當(dāng)前有多少“不確定性”,然后，它們就會(huì)相應(yīng)地調(diào)整其讀數(shù)。
普通服務(wù)器利用公共原子鐘來保持準(zhǔn)確的時(shí)間。但是，格羅斯認(rèn)為這一方法還不夠準(zhǔn)確。谷歌更進(jìn)一步，直接在自己的服務(wù)器上安裝了原子鐘和GPS天線。
最初，該系統(tǒng)是用來幫助整個(gè)谷歌帝國投放廣告，但是后來，它已經(jīng)擴(kuò)展到谷歌其他形形色色的服務(wù)當(dāng)中。該系統(tǒng)還幫助谷歌在其整個(gè)網(wǎng)絡(luò)中復(fù)制和轉(zhuǎn)移數(shù)據(jù)，從而幫助該公司的數(shù)據(jù)中心進(jìn)行維修和升級，甚至安全渡過眾多的網(wǎng)絡(luò)危機(jī)。三年前，當(dāng)吉爾第一次提到Spanner的時(shí)候，他說，由于溫度過高，谷歌自動(dòng)將大量數(shù)據(jù)從需要暫時(shí)關(guān)閉的設(shè)備中轉(zhuǎn)移出了。
問題的關(guān)鍵是，除非你在服務(wù)器中添加硬件，否則你無法使用Spanner.在這篇論文中，谷歌聲稱原子鐘的成本并不高，而且10gen 公司的總裁麥克斯-希雷森表示，其他企業(yè)也安裝了類似的設(shè)備。但是，Basho公司的格羅斯和Cloudera公司的澤德勒維斯基均認(rèn)為，它的成本仍然太高，不適合推廣使用。
格羅斯稱，對于像Basho這樣的公司來說，建立依賴于這種設(shè)備的系統(tǒng)并沒有意義。而就Cloudera公司而言，澤德勒維斯基也說過類似的話。即便他們看到了Spanner的未來。
就像許多其他NoSQL公司一樣，Basho公司的目標(biāo)就是服務(wù)于大型網(wǎng)絡(luò)公司和其他需要處理大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)的公司。而格羅斯聲稱Spanner背后的基本理念可以幫助該公司做到這一點(diǎn)。
他說：“谷歌往往走在開源技術(shù)的前沿。不是每個(gè)人都能夠買得起原子鐘，但是我們可以從中學(xué)習(xí)他們所用到的方法。只要看一看谷歌的做法，你就能從中受益匪淺。”
