Inside a Google Datacenter

Szerző:

2009 április 3Google

Az elmúlt 1-2 nap megnyalhatták a szájuk szélét a szerverfetisiszták, mivel a Google “elég” sok infót hozott nyilvánosságra az alkalmazott szervereiről, illetve egy rövid betekintést kaphatunk az egyik adatközpontjának (data center) világába is.

Bár korábban is voltak azért adatok az infrastruktúráról, de erre a “nyitottságra” nem volt eddig példa. Üzletileg biztos nem lényeges lépés ez, de mindenképpen szimpatikus, pozitív PR mindenképpen.

google web server

Mi van benne?

  • két X86-os processzor, vagy AMD vagy Intel
  • 8 memória slot
  • két merevlemez
  • Gigabyte alaplap
  • a szerverek konténerekben (~1160 szerver minden konténerben) vannak, ez a videón látszik is majd, hogy milyenekben

Ez pedig talán az első nyilvános felvétel, egy DC belsejéről, annak világáról:

Ez pedig egy korábbi irományom a témában, kapcsolódva a fentiekhez:

2008 május 28-29-én zajlott a Google I/O konferencia San Franciscóban, ami tulajdonképpen egy fejlesztői összejövetel volt. Nem marketing rizsa volt, hanem mély technológiai jellegű előadások, a jövő webes alkalmazásairól.

Az Underneath the Covers at Google: Current Systems and Future Directions, Jeff Dean egy pici információt szolgáltatott a Google jelenlegi infrastruktúrájáról, és a jövőbeli irányokról. (Jeff egyébként 1999 óta Google alkalmazott, a Systems Infrastructure Group tagjaként, és imádja a kosárlabdát :)

google data centers

Jeff adatai szerint a Google jelenleg (2008-as adat) 36 DC-t (data center) tart fenn a világon, 1 DC 150 rack-et tartalmaz, egy rack pedig 40 szervert. Ha hihetünk ezeknek a számoknak, akkor legkevesebb 200.000 ezer szerver szolgálja ki és intézi a Google ügyeit. Az Adwordstől az Analytics-ig mindent. (Tényleg, a budapesti DC-ről van valakinek infója? Tudjátok, ami a Dataplexben van. Kíváncsi lennék.) A vélemények persze megoszlanak, van aki 500.000 szervert emleget, de csak úgy mint az algo, ez sem lesz soha pontos, és publikus infó azt hiszem.

Mert pl. az index.hu ebben a cikkben félmillió szervert említ már 2007-ben, és akkora áramfogyasztást, amihez mi kicsik vagyunk. Magyarország nem bírná árammal a Google-t. A Google számára szükséges 1 adatcenternyi áramot azért még szerencsére simán letekeri 6000 mókus is ;) Szóval az megoldható simán.

Ha a föld lakosságát 6,671,200,860 főnek vesszük, akkor könnyű kiszámolni a fenti adatokkal, hogy 1 szerver 13,342 embert szolgál ki. Persze ha valóban ennyi szerver van.

És hogy egy picit még árnyaltabb legyen ez az egész adatközpontos sztori, szóba jönnek az a bizonyos Mobile Data Center-ek is. Ezek azok a konténer nagyságú “dobozok” amikbe sok szerver van zsúfolva, és teljes értékű DC-ként funkcionál bárhol a világban, szállítani egy teherautó is elég, az üzembehelyezés pedig néhány óra. A mobile data centerekre amúgy szabadalmat is kapott a Google. Ezt még sztahanov is boncolgatta 2005-ben:
Újabb Google-világuralmi tervek


mobile data centers

De ne kalandozzunk el, maradjunk a Google infrastruktúránál. A fent említett Jeff Dean-nek volt egy órás előadása a University of Washington-on, ami véletlenül pont megvan :)

Google: A Behind-the-Scenes Look (120MB, 58 perc, .asf formátum)

Az előadás angol nyelvű természetesen, de legalább kapunk benne számos olyan érdekes és technikai információt a Google rendszeréről – ráadásul kompetens embertől -, amihez egyébként jellemzően nem nagyon jutnánk hozzá. Szó esik a Google saját filerendszeréről a GFS-ről, a használt PC-kről és hogy miért nem neves szervereket használnak, szóba kerül az Index szerkezete és tárolása is. Terheléselosztás, hiba tűrés, ésatöbbi. Kevésbé techie vénájú embereknek is hasznos és elgondolkodtató lehet. Ha eddig még egy kicsit bíztunk benne, hogy a keresőoptimalizálás semmi másról nem szól mint minél több link begyűjtéséről, akkor az a videót megnézve sürgősen el kell, hogy felejtődjön :)