找回密码
 新注册用户
搜索
查看: 9167|回复: 13

[新闻] Google 神秘服务器大公开

[复制链接]
发表于 2009-5-6 17:39:05 | 显示全部楼层 |阅读模式
CNET科技资讯网5月6日国际报道 服务器上装电池、使用技嘉主板、数据_中心以货柜为单位,每箱里面有1160台服务器...在经济不景气当道的年代,Google要分享自家数据_中心的省钱方式。


公开分享

Google首次展示自家的服务器设计


Google对于自家电脑计算一向口风很紧,但上个月则首度在一场会议中做了展示,谈论有关数据_中心用电效率的议题。
大部分企业都会跟诸如戴尔、惠普、IBM或Sun购买服务器。不过Google所拥有的数十万台服务器都是自己设计打造来的,Google认为这是公司的核心技术之一。参与过许多Google服务器设计的Ben Jai(翟本乔)则在众人面前展示一款现代的Google服务器。


Google服务器设计师Ben Jai(翟本乔)


Google的最大惊奇:每台服务器都有一颗12伏特电,确保万一主断源断电时还可持续供电。Google也首度透露,从2005年起,其数据_中心加入了标准运输货柜,每个都有1160台服务器,耗电量可达250 千瓦特(kilowatts)。
听起来似乎很技术怪胎的作法(geeky),不过对于现场许多以经营数据_中心(动辄好几千台服务器)为生的专家而言,大家不仅对于Google这种内建电池的作法感到新奇,同时也对公司可保密这么久而啧啧称奇。Jai受访时表示,Google从2005年就开始采用这种设计,至今已经是第六或第七代设计了。
“这是我们的曼哈顿计划。”Jai如此说。
Google对于节电性能方面十分在意,因此现在将自家经验公开分享。Google运营副总裁Urs Hoelzle表示,由于景气不佳导致企业预算紧缩、环保意识抬头、能源价格高涨等因素,现在是应该Google站出来多谈一点效率的时机了。
“若大家没兴趣,你谈太多也没有用。”Hoelzle表示,但现在市场态度已经有了转变。


內建电池有专利

Google也谈到一些数据_中心议题,如电力传送、冷却、如何确保冷热空气不会混在一起。负责数据_中心设计与性能评估的Chris Malone表示,Google的数据_中心现在的性能已经达到环保局希望采先进技术在2011年才能达成的标准。
“我们的作法现在已经达到2011年的目标了,我们采取最佳作法与一点小创新,这些技术其他人也都拿得到。”Malone表示。


Google服务器背面



为何要内建电池?

为何这种电池作法很重要呢?答案是金钱。
一般数据_中心多倚赖称为不间断电源系统(UPS)的大型中控机型,这基本上算是大电池,会在主电力失效而发电机还来不及启动时,暂时协助供电。Jai表示,直接把电力内建到服务器比较便宜,而且成本能直接跟服务器数量相符合。
“这种作法比使用大型UPS节省得多。”他说,“如此也不会浪费多余的容量。”
效率也是另一个财务考量因素。大型UPS可达92-95%的效率,这意味着许多电力还是被浪费掉了。但Google采用的内建电池作法却好很多,Jai表示,“我们测量的结果是效率超过99.9%。”


Google运营副总裁Urs Hoelzle


Google服务器厚度3.5寸,2U(两机柜式),它有两颗处理器、两颗硬盘,采用技嘉(Gigabyte)主板有八个内存插槽。Google采用AMD与英特尔的x86处理器,且Google也在网络设备中采用电池设计,Jai如此表示。
效率很重要的原因不仅是可降低电费,且效率不佳还会制造多余废气,导致需要多花一笔钱来做冷却。


总成本加加看

Google所掌管的服务器数量极为庞大,因此这些成本累积起来很可观。
Jai自己就承受许多压力,自2003年至2005年间,他是服务器设计团队中唯一的的电力工程师,“我有长达2年半的时间每天都工作14个小时,”他说,之后公司才加了人力来分担他的工作量。
Google对这个内建电池的设计还拥有专利,“但我们很愿意把这套技术授权给供应商使用。”Hoelzle表示。


货柜数据_中心

Google对于电力效率的着迷还可从变压器设计看得出来。变压器会把AC交流电(墙壁插座)转换成DC直流电(电池电力),一般变压器会提供电脑5伏特与12伏特的直流电。Google的设计则只供应12伏特,只有在主板上做必要的转换。


Google数据_中心效率逐渐提升


这会让每块主板成本增加1-2美元,但却很值得,因为如此供电不仅较便宜,且供电也可比较接近峰值容量,效率会更好。Google甚至还会注意以12伏特经由铜线导电会比5伏特来得有效率。


摄自Google在现场播放的数据_中心货柜视频。跟一般数据_中心一样,Google的货柜也有把地板提高。



货柜服务器

一般人一次只会买一台电脑,但Google所思考的单位却很不同。Jimmy Clidaras透露,Google的数据_中心核心是由标准1AAA货柜组成,每个货柜里有1160台服务器,每座数据_中心都有好几个货柜。
这种模组化数据_中心并非Google独家。包括Sun与Rackable Systems都有销售这种产品,但Google是从2005年就开始采用。
Google一开始实验也没那么顺利,Clidaras表示,第一次还发生找来的吊车不够大,吊不起一台货柜。
整体而言,Google的作法与选择都是经过成本(含软、硬件与设备)精算的考量。
“从一开始,我们就很重视每个搜索的成本,”Hoelzle表示,“这也是被逼出来的,毕竟每个搜索的营收实在很低。”
他表示,当时只买得起主流x86处理器的服务器。“10年前,那时要提供免费搜索就只能找很便宜的硬件,你买不起大型主机,因为那就完全没有获利空间了。”他说。


Google模組化数据_中心图解


[ 本帖最后由 BiscuiT 于 2009-5-6 17:58 编辑 ]
回复

使用道具 举报

发表于 2009-5-6 22:29:22 | 显示全部楼层





若干推论:
a.关于主板,GA-9IVDP,很显然是个定制型号,但在国内有它的姊妹版 GA-9IVDT-CN:
  http://product.pconline.com.cn/server_mb/gigabyte/167635.html
   价格不过区区2k人民币,但Google所用有裁剪,成本只能更低!
b.关于电源,也和我们所用的电源并无二至,他是220-240AC输入的。特殊之处是这个电源只有12v输出,没有5v、9v,很显然,主板功能也由此产生损失也是可以推测的。从铭牌上看,电源产自中国,output:13.65V 20.5A,这个服务器的功耗大家可以估算了,不会超过250w(现在装个兼容机大家都嫌300w电源不够用)。
c.关于电池,可以看到,比摩托车上用启动电池还要小,免维护铅酸蓄电池无疑,容量估算充其量5ah,有趣的是这个电池接入开关电源,那么开关电源当成一个UPS看也不为过--那是一个13.65v输出的ups,不会比市面上几百块钱最低档次的山特更贵。
d.鉴于此电池的容量,充其量只能够维持15分钟的服务器需求。以此来推断电池的用途,有两种可能:
1.服务器掉电后进入休眠模式,提高系统重启速度,这个看起来有些不靠谱。
2.保守估计掉电后能撑10分钟,提供文件系统clean umount的时间,很遗憾,我们看不出来硬盘的尺寸,但从内存配置来看,应该是容量敏感的配置,那个硬盘应该也是~-大容量为首选依据,系统掉电,导致fsck两块上百G的硬盘,还是需要相当时间的,尤其是当一排机柜掉电,多个GFS节点同时fsck,情况会十分混乱。
e.关于硬盘配置,有朋友提出,两个sata硬盘,做raid 1,鉴于上面的分析,我认为很显然不是这么回事,如此节省的一台服务器,采用raid1,浪费的不只是成本,还有能源消耗,这两块硬盘更可能就是两块独立的硬盘而已。从~的照片上来看,系统的可靠性是通过众所周知的GFS来保证的,做raid 1明显太奢侈咯。


结论:这明显是一台兼容机主板+大路货硬盘+低端UPS+摩托车电池,粘在一块烂铁皮上(请大家注意,这台机的电源、硬盘以及电池都不是用螺丝固定的,而是用了粘接带,呵呵),连个像样的盒子都没有的山寨服务器,放在某IDC机房,中国的网管都懒得多看它一眼,扔在路边,只能被回收二手配件的小贩拣去拆掉。只是,因为他来自google...,活生生的事例再一次告诉我们,能不能赢,不是因为你手上是什么兵器,而是怎么去使用你手上的兵器
来自:chinaunix

[ 本帖最后由 zglloo 于 2009-5-6 22:37 编辑 ]
回复

使用道具 举报

 楼主| 发表于 2009-5-6 23:01:53 | 显示全部楼层

回复 #2 zglloo 的帖子

神奇的是google自家的服务器可以达到ibm服务器的稳定性... 年停机时间不超过5分钟..
回复

使用道具 举报

发表于 2009-5-7 10:50:03 | 显示全部楼层
   抢来计算多好啊
回复

使用道具 举报

发表于 2009-5-7 17:22:51 | 显示全部楼层
直流供电很省电的。用一个 AC TO DC 12V 的变压器配合一个 DC - DC ATX 电源给电脑供电,比直接买个 ATX 电源更省电。由其是当你知道电脑功率大概是多少的时候,买个合适大小的 AC TO DC 变压器和 DC TO DC ATX 电源。一般说都是越接近额定功率的话,转换效率就越高。

可惜的是,12V 的供电,如果多台机共享一个变压器的话,那按 GOOGLE 的这种机,每台机就要 20A 电流了,如果多机共用那就会产生非常大的电流安数,这不安全,也间接造成更大的发热。又不能换用更高的电压,因为它还要给 12V 电池充电,假如产生高电压然后再变一次压去降压给电池充的话,又增加电源复杂性和成本,反过来电池供电时又要反向再变一次压回到高压给主板供电的话,这样来回又更费电和更复杂。所以,12V 相对是最适合的了。


GOOGLE 可以做得更好,只是电脑本身限制了发展的进度。假如电脑里不是主要需要 12V,而是 24V 的话,结果会怎么样? 那就可以直接 24V 供电,然后 GOOGLE 一个这种 AC TO DC 的电源类型就起码能给两台机共享了。然后,电池是有 24V 那种型号的,或者直接是两个串联。。。但现在,假如把主板供电改成 24V 的话,那就几乎就是整个主板重新设计了。。。而且很多配件都不共用,只有采用最大量使用的配件,才能降低成本。

[ 本帖最后由 彬彬 于 2009-5-7 17:24 编辑 ]
回复

使用道具 举报

发表于 2009-5-8 14:40:12 | 显示全部楼层

回复 #3 BiscuiT 的帖子

他的容错技术和99.999……的稳定baidu  yahoo的机房 可能都没有这么高效和安全

我在看这~   在想海上的哪个?

[ 本帖最后由 zglloo 于 2009-5-8 14:46 编辑 ]
回复

使用道具 举报

发表于 2009-5-8 15:50:45 | 显示全部楼层
有意思~~
回复

使用道具 举报

发表于 2009-5-15 02:16:39 | 显示全部楼层
把这个集装箱装在远洋轮上,开到外面再通过卫星进行互联网接入。极为方便啊
回复

使用道具 举报

发表于 2009-5-15 10:05:01 | 显示全部楼层
原帖由 ipooo 于 2009-5-15 02:16 发表
把这个集装箱装在远洋轮上,开到外面再通过卫星进行互联网接入。极为方便啊



传说中的防灾难级别的应用呀。放海上拿海水来制冷,也省不少钱。
回复

使用道具 举报

 楼主| 发表于 2009-5-15 11:04:39 | 显示全部楼层
如果卫星通信真能这么经济方便.. 海底光缆还铺设个鸟...

有这么方便也把服务器都搬到极地去了, 被动散热就满足了... 节约50%+电能消耗, 顺便加速冰架融解, 淡化海水, 淹没海滨
回复

使用道具 举报

发表于 2009-5-18 08:26:28 | 显示全部楼层
硬盘是不是raid1取决于磁盘内信息的价值。如果损失数据带来的损失大于磁盘冗余的费用,就值得用raid1。
还有,我认为google服务器的很多信息是cach到内存里的,而不是由读取磁盘来提取信息。电池所维持的时间是将内存数据保存到硬盘上并安全关机的时间。
当然也有所谓的等待电源恢复时间。比如在外部电源断电5分钟内仍未恢复,则保存数据并关机。
回复

使用道具 举报

发表于 2009-5-19 12:25:51 | 显示全部楼层
硬盘用不用RAID1对于服务器群没什么意义
GFS系统可能是一种离散备份结构
任意节点的损坏不会造成数据丢失,所以单节点也就没必要要求特别的稳定性了
回复

使用道具 举报

发表于 2009-5-19 13:09:14 | 显示全部楼层
顶一下DIY服务器
回复

使用道具 举报

发表于 2009-9-27 11:40:33 | 显示全部楼层
google自家的服务器可以达到ibm服务器的稳定性

评分

参与人数 2基本分 -1 收起 理由
Julian_Yuen + 6 请以后注意不要大规模顶贴
cuihao -7 掘墓

查看全部评分

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 新注册用户

本版积分规则

论坛官方淘宝店开业啦~
欢迎大家多多支持基金会~

Archiver|手机版|小黑屋|中国分布式计算总站 ( 沪ICP备05042587号 )

GMT+8, 2024-5-15 03:39

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表