구글 데이터 센터 내부 공개, 그 안을 들여다보자

[truefeel]

4.1일 마운틴뷰에서 있었던 'Google Data Center Efficiency Summit'을 통해서 구글 데이터센터 내부의 모습과 자체 설계 조립한 서버가 공개되었다. 이번 행사는 데이터 센터의 효율성 개선을 위해 혁신을 논의하려고 엔지니어와 경연진을 대상으로 한 구글의 행사였다고 한다.

데이터센터는 내부의 모습은 이번에 처음(외부 공개는 이번 처음으로 알고 있음)으로 공개됐다. 그 이전에는 휴대폰으로 찍은 듯한 저화질수준의 사진 몇장만 볼 수 있었다. 그 것도 데이터센터 내부를 봤다고 하기에는 무리인 랙 몇개 정도의 작은 공간만 사진에 담겨있다.

이번에 공개된 동영상과 발표자료를 보면, 데이터센터 내부는 마치 공장을 보는 듯한 느낌이다. 가장 큰 특징은 모듈화된 구조로, 콘테이너 박스안에 서버와 스토리지를 넣는다는 것이다. 구글은 이런 형태의 시설을 2005년 후반부터 이용하고 있으며, 40피트 컨테이너에는 최대 1,160대의 서버가 들어간다고 한다. 실제 45개 컨테이너에 약 4만대의 서버가 들어있다.


[ 구글 데이터 센터 내부. 이미지 출처 : 'Google’s Container Data Center Video Tour' ]


[ 컨터이너 내부. 출처 : 위 URL ]

- 컨테이너를 이용한 모듈화
- 1개 컨테이너에 최대 1,160대 서버
- 45개 컨테이너에 약 4만대의 서버
- 엔지니어는 스쿠터를 타고 이동
- 자체 설계, 조립한 서버 사용. 케이스 없는 누드(?) 서버
- 중앙식 UPS가 아닌 분산화된 UPS(서버 설명할 때 다시 얘기하겠음)
- 컨테이너당 전력소비량 250Kw
- 10MW
- 컨테이너 바닥에 쿨링 시스템 (전면 'Cold Aisle' 측이 27℃ 유지)
※ Hot Aisle과 Cold Aisle이 있는데, 찬공기를 끌여들이는 전면을 Cold Aisle, 반대로 공기가 배출되는 뒷면을 Hot Aisle이라고 함.

'Inside A Google Data Center' (점심 때 봤을 땐 조회수 2천정도 였는데, 많이 늘었네 ^^)


'Google’s Container Data Center Video Tour' 에서 발표자료 일부(사진 촬영)를 볼 수 있다.

구글의 서버를 살펴보자.

구글의 UPS 효율성은 몇%일까? 놀라지 마라~~ 무려 99.9%이다. 이 효율은 바로 구글 서버 설계에 숨겨있다.
일반적으로 파워서플라이는 12V, 5V, 3.3V등 여러 전압을 제공한다. 그러나 실제로 사용하는 전압은 정해져 있고, 미사용 전압으로 변환한다는 것은 효율의 저하를 가져온다. 구글은 이중에서 12V(노란색 케이블)만 메인보드에 제공하고, 모두 없앴다. HDD로 5V전압은 메인보드에서 제공한다. 그리고, 서버에 배터리까지 장착했다. 이 배터리는 서버에 장착된 on-board 개념의 분산화된 UPS다. UPS를 서버단위까지 분산화했다니 놀랍지 않은가. 이로써 효율을 99.9%으로 끌어올렸다.


[ 구글 서버. 사진 중앙이 배터리 부분. 이미지 출처 : Close up an Old Google Server, and eWaste ]

[ 구글 서버. 출처 : 위 URL ]

- 기가바이트 메인보드 (사진으로 확인 가능)
- 2 CPU
- 2개의 HDD
- 8개의 메모리
- 서버 케이스 없음
- 서버에 배터리 장착(중앙식 UPS가 아닌 서버에 배터리를 붙여 구현한 분산화된 UPS, on-board UPS 개념, lead-acid 배터리)

Google's Web Servers, Revealed


구글 서버는 자체 설계한 부분이 많다는 것은 구글 자체 논문 발표, 책('구글을 지탱하는 기술') 등을 통해서 알고 있었다. 하지만 서버에 직접 배터리를 장착한다는 놀라운 사실은 처음 알았다. 데이터센터도 일반적인 센터 구조와 비슷할 것이라고 여겼는데(몇년전 저해상도 사진에서는 일반적 랙구조였음. 구글 데이터센터가 여러 곳이므로 일반적 랙구조도 있을 수 있겠지만), 내 상상력은 안드로메다에 두고 왔구나 싶다.

HW 설계 기술, 데이터 센터 설계 기술, 센터 운영력에서도 기술과 상상력을 보여준 구글이다. '역시 구글이다'라는 생각이 든다.


※ 구글, 이동형 데이터센터 미 특허 취득 (디지털타임스, 2007.10.18 ). 2007년 10월에 구글이 '컨테이너' 데이터센터에 대한 특허를 취득했었군요.
※ 해외 주요 업체의 서버 대수는? (2009.6.1) MS는 21만대 예상. eBay 5만대 예상. 구글 2006년 자료에는 45만대