中国分布式计算论坛

 找回密码
 新注册用户
搜索
查看: 47236|回复: 115

[强力改装] C叔深坑系列——戴尔-C6100服务器水冷暴力魔改直播

[复制链接]
发表于 2016-11-26 01:23:53 | 显示全部楼层 |阅读模式
本帖最后由 CCCP0081 于 2016-12-12 15:12 编辑


首先庆祝12届WCG世界杯,TC夺冠!!!喜大普奔!!!

本坑内容物如下,DELL C6100四子星2U云服务器——WCG刷牌神器(后续LGA2011型号为C6220)
TB2L25EhFXXXXXVXpXXXXXXXXXX_!!97026636.jpg TB22kGKhFXXXXcOXXXXXXXXXXXX_!!97026636.jpg TB28S1BhFXXXXaDXpXXXXXXXXXX_!!97026636.jpg

话说懒癌晚期已无药可医。此机进家后就这么放了半年。
205808iak6wnmssvwvb6mg.jpg
CPU L5520×8(共64线程睿频2.4Ghz)+64G服务器内存。性能略高于一台双路E5,超适合刷WCG。传送门:http://www.equn.com/forum/thread-41576-1-1.html
马上进入17年这个东东已经没有什么性能上的优势了。只是作为一个2U四子星服务器教练机而存在了。(但是刷WCG依然十分给力)

5月份五项赛前匆忙开始调试,发现满载噪音无法忍受。有如747起飞般的轰鸣。传送门:http://www.equn.com/forum/thread-42048-1-1.html

曾试图通过改CMOS降压降频(性能妥协),结果失败。
随后进行风扇降速改造,结果CPU满载超105℃(虽然噪音完全可接受),改造失败。传送门:http://www.equn.com/forum/thread-42080-1-1.html

DELL作为一个成熟的大厂,人家调教好的散热必然有他的道理。尝试降噪改造多次失败无果。难道真的就一点办法都没有了吗?

timg (1).jpg

~~~~~~~~~~~~~~~~~~~~~~不是还有水吗?~~~~~~~~~~~~~~~~~~~~~~~~~

“一发RPG解决不了的,就给他两发”
“风冷调教不了的机器,那就上水冷”


IMG_20161125_235255.jpg


~~~~~~~~~~~~~~~~~~~出门看黄历,办事问度娘~~~~~~~~~~~~~~~~~~~~

先问问度娘这事咋办?
度娘balabala说了一大堆总结如下:
1、未搜索到个人改造2U四子星服务器的案例。(以及同类案例)
2、曙光做过整机浸油的方案。
3、国外厂家做过整个数据中心水冷方案。换热器是个发电厂那样的水冷塔。。。

好吧。既然没人弄过,我就直播一个吧。有路走路,无路趟路。。。。。。开始干不叨叨




~~~~~~~~~~~~~~~~方案论证~~~~~~~~~~~~~~~~~~

方案1、最省事的方案就是弄8个一体式水冷。水管不够长就重新换长管。
Img317365936.jpg
然后把冷排码在支架上,固定到服务器外壳上面,占用3U~4U的高度(根据冷排摆放体位决定)。
脑补一下这样的画面:8组黑色的水冷管从服务器机尾整齐的甩出来,接出来两组8个排列整齐的黑色散热器,与机器同宽,这样的画面强迫症晚期都治好了有木有。
TB28U8EdOKO.eBjSZPhXXXqcpXa_!!1054141838.jpg
这个方案的比较省力。美观度较高。改装后依然可以方便的进机柜,可靠性和可维护性都较好,是个好方案。
但是就手中这台C6100来说。只能抗衡一台双路E5,也就是3000¥的战斗力。花个2500¥改水冷比较不值。
但依然不否定这个方案。
另外两个问题:1、服务器内空间高度很矮,此机有效高度28mm(CPU上盖到机箱盖天花板的高度),绝大多数一体式水冷型号都超高。
                     2、一体式散热换管后失保,而且存在重新补液并排气的问题(部分型号这个问题比较好解决)。
另外一个最重要的问题:同时满足不超高、好换管、不太贵、能上LGA1366的一体水冷是否有货?还是个未知数。


方案2、油浸方案!!
算了吧,我可不想开个机都要弄一手油。


方案3、传统水冷方案(未完待续。。。。。。)


TB26N7FXYmI.eBjy1zjXXaq5VXa_!!68100854.jpg



~~~~~~~~~~~~~~~~~~~~~~Day2 更新~~~~~~~~~~~~~~~~~~~~~~~~

通过第一天的跟帖反馈,1981兄已经帮我把图做好了。十分感谢
094612qdrd6fzkk6y7iz2o.jpg
没错,冷头布置基本就是这个方案,无非是水冷头串联还是并联。
问题来了,如何平衡价格、性能、外观?毕竟这只是一台3000¥战斗力的教练机。
现在的情况是手上已有8块1366冷头,和两个280冷排。只差泵、水箱、和管路。
已有零件如图:(请无视水印)

1203201433df9944d073bf2377.jpg TB2Y0kntXXXXXb7XXXXXXXXXXXX_!!2902108998.jpg

根据上面已有情况开始估算热负载,280冷排在供水流量正常情况下热负载上限大概在500瓦。也就是能抗一块I7加两块次旗舰显卡的热负载(实测280抗430瓦的负载,水温轻松摸到80℃,但依然算抗下来了)。
那么根据估算,手中的两个现成的280冷排抗8个60瓦的L5520还是没问题的。但是如果换X5690这种130瓦的CPU,就摸到天花板了。
另:超频至4GHz的L5520能够达到270W的实测功耗,LGA1366横跨两代制程,功耗是个玄学,一切还是以实测为准。

关于水冷头和冷排总结如下:水冷头表示没问题。280冷排表示,只要给够水流量我还行。

关键的技术路线分歧点来了:啥样的水泵能够推动这个方案?

流量与泵压关系曲线

ef962658f0e33060865ee9095fd67a39.jpg
水泵扬程用来克服管路里的水阻,如果冷头多了、管子长了、冷排内部堵了,把水泵扬程吃完了,那么就没流量了(手机党一听“没流量了”就炸了)
timg (1).jpg


下面来看看常见水泵能否扛起这套系统:


1、DDC
TB2Ay2iXGzyQeBjSszfXXX7OVXa_!!34933001.jpg TB2WITlXNfxQeBjSspjXXX4opXa_!!34933001.jpg TB2Jl8jXp6AQeBjSZFIXXctXpXa_!!34933001.jpg
18瓦的DDC 1.5A电流(完全可以改成小3pin插机器里,C6100有5个极限5A的5针供电口,可以插那种常见的3针、4针温控风扇),360¥,扬程4米5,经典负载流量200~300升(这样的流量足够用),玩家普遍用一个DDC带1U1卡,如果是1U双卡,很多玩家最后用的都是双DDC泵箱(国产的500¥左右)一个原因是单DDC抗不住。另一个原因是并联冗余增加可靠性。(被DDC折腾过的玩家都知道,行货DDC也有概率挂掉)。8个U,至少要用两个DDC泵箱一体,合体图如图:(这个国产DDC泵箱产自广州的ICE MAN,店长是C叔十年好友,当年一起做水冷头在CHH认识的),不要小瞧国产,现在的跟多国货一点都不比国外差,只不过品牌溢价还没有起来。还不快快挖掘价值洼地。
TB2h1Nwc2OM.eBjSZFqXXculVXa_!!2765532499.jpg TB2WUdDc8yN.eBjSZFkXXb8YFXa_!!2765532499.jpg
4个DDC共1500¥,外加两个泵箱共2600¥,这套方案已经够一个双路E5平台了。好吧。





2、D5水泵(D5水泵基本上也要用4个,泵比DDC还贵,双D5水箱更是奢侈品)技术论证过程就略掉了,没啥意义。
360截图20161127040320514.jpg





3、国产泵,貌似就东远SC系列、科电MS系列


付上CHH大佬“泵J”国产泵评测传送门:https://www.chiphell.com/thread-865714-1-1.html
002456eoowa4adccaz33dn.jpg




常见的泵参数都是400L/h左右,泵压2~3米。这样规格的泵需要4台才能抗住8个U的管路水阻。
另一种方案就是用两个大泵,800升左右的流量,泵压高于5米。估计两个泵就能抗住。
下面列出几个备选泵:


1、科电MS-500x:130¥,需要4台。C叔手中有一台实物,超级静音,但推力不足。实测带两个冷头已是极限(人家设计就是用来推单冷头的好不)。
TB2LctCjXXXXXclXpXXXXXXXXXX_!!1774661325.jpg 360截图20161127025906391.jpg





3、科电MS-500X2,双芯泵、双黄蛋,200¥,需要两个。排泡性能较差,也就是说在启动后一段时间内会有水泡声(不过对服务器环境来说不太在乎那点泡声)。其实和1号水泵方案没有本质区别。
TB2hRUmXVXXXXXIXXXXXXXXXXXX_!!198505585.jpg TB2Yw.lXVXXXXaeXXXXXXXXXXXX_!!198505585.jpg






4、东远SC600泵箱一体魔改版:90¥需要4台。把玩结论是价格便宜、推力不错,皮实耐艹,魔改版众多。安装比较麻烦,容易出震动噪音。较难调教。(整体有点毛熊T34的风格)
360截图20161127030254205.jpg 360截图20161127030328316.jpg






5、东远P60, 200¥,需要4台。结构紧凑,性能小强,上面的CHH评测链接里有。
360截图20161127033251771.jpg 360截图20161127033330909.jpg






6、东远SC-750, 200¥需要2台,大推力,超紧凑。技术经验积淀较足,评测内有。噪音控制较好(同级别比较),感觉很不错。
360截图20161127033757898.jpg 360截图20161127033816999.jpg






7、东远SC1000泵箱魔改版:220¥需要两台。暴力型的选手、标配大D口供电,3.5A电流能够烧掉一般的主板3针接口,需要外置ACDC电源(其实C6100表示魔改一下供电接口机内有地方可以插)
一看这货就知道根本不可能没有震动。不过换来的是足够的超级推力,是大推力火箭发动机的不二选择(楼主在扯蛋

634687857076815000.jpg

360截图20161127035012638.jpg 360截图20161127035027871.jpg 360截图20161127035039437.jpg





以上只有这几个泵贴出来备选。还有很多泵也很好,C叔水平有限,就不罗列了。
另:其实也想过上个鱼缸潜水泵,或者弄个小工业泵啥的,或者接个自来水啥的。后来回忆了一下以前脸被打肿的情景。C叔默默的喝了口茶。。。
timg.jpg





~~~~~~~~~~~~~~~~~~~~~Day3更新~~~~~~~~~~~~~~~~~~~~~~~~
最后还是决定了用7号泵方案,所有方案里推力最大的,工作噪音至少45分贝。从没用过这种超大功率的水冷泵,但是泵可调速,大不了调小点。
因为放在储物间跑运算,所以对噪音不是特别敏感,应该可以接受。
360截图20161127204430358.jpg
又剁手,这个方案沉没成本2400(水冷头加冷排),补货800,总共3200。几乎再造一台C6100。。。。。。
好吧,其实8个一体式水冷的那个方案,我觉得还是很值得一试的。





~~~~~~~~~~~~~~~~~~~~~~Day4更新~~~~~~~~~~~~~~~~~~~~~~~

两个坏消息:1、原方案水冷头加弯头超高2.5毫米。无奈更换CPU冷头为测出式。如下图:
TB2ea9VcVXXXXbhXpXXXXXXXXXX_!!1774661325.jpg
2、原方案SC1000泵箱店里仅剩一只了,进货周期超过一周。果断换泵。如下图:
360截图20161129203630656.jpg 360截图20161129203556440.jpg
画风已经变了,好吗。

牵一发而动全身,最新拍单如下:
360截图20161129202549147.jpg 360截图20161129202605123.jpg 360截图20161129202624801.jpg 360截图20161129202641144.jpg 360截图20161129202655783.jpg





~~~~~~~~~~~~~~~~~~~Day5更新~~~~~~~~~~~~~~~~~~~~


零件陆续到货,开始组装,新问题一堆:


1、水箱竖直放置最好,但是标配的固定件不支持竖直放置。
IMG_20161205_130906.jpg










2、水平放置后水泵出水口与固定件冲突
IMG_20161205_130926.jpg












3、串联水冷头水冷头接管情况。考虑到维护检修管子还是得留长点
IMG_20161205_131038.jpg










4、水冷头与CPU上面间距很小,测出水嘴金属管夹无法安装。只能追加紫铜片垫出间隙。
IMG_20161205_131053.jpg






原型机就是问题多多。再次追加零件拍单如下:
360截图20161205132544581.jpg




~~~~~~~~~~~~~~~~~~~~Day6更新~~~~~~~~~~~~~~~~~~~~~~


补货陆续到货,安装接近尾声。


到货的紫铜片有冲压边毛刺,会垫出空隙,导致导热接触不良,全部手动倒角。国产货总是不能让人放心。
注意:不可用黄铜当导热垫片,因为黄铜的导热系数只有紫铜的三分之一。
IMG_20161209_011011.jpg




安装紫铜垫片并且涂抹硅脂。硅脂厚度0.1毫米为宜。
IMG_20161209_003418.jpg IMG_20161209_003526.jpg






空隙垫出来的,就可以更换金属管夹了。比较松的单层宝塔头,还是必须用管夹的。
IMG_20161209_004152.jpg IMG_20161209_004426.jpg






更换轴流风扇。9032规格的三洋0.5A风扇,实现机内通风作用。实测完全达到静音要求。传送门在帖子顶端。
IMG_20161209_225023.jpg IMG_20161209_225002.jpg






机壳上盖钻眼安装冷排水泵组件,实现固定。
IMG_20161209_230807.jpg IMG_20161209_232339.jpg






组件安装完工,配管全部完成,等测试完成最后理线。所有供电全部需要大改接口以配合DELL的奇葩标准。走线从冗余电源空缺处进入。幸亏当时强迫症没有发作,没有弄冗余电源,给自己留下了一条生路。
IMG_20161209_233710.jpg
还剩一个水泵供电接口没改完。随后进入测试步骤。




~~~~~~~~~~~~~~~~~~~~~Day7更新~~~~~~~~~~~~~~~~~~~~~~~~~
正式安装完成。所有供电均从机内接出。
IMG_20161212_133818.jpg



机器噪音源含4个9cm系统风扇,4个14cm冷排风扇,2台水泵。整体工作噪音如下视频:



整机水冷改造完成,水冷试车完成。
随后机器将安装到位。进行最后的整机运行测试。水冷改造的降噪效果已经OK。最后看看满载发热控制如何。


~~~~~~~~~~~~~~~~~C叔正在码字码图未完待续~~~~~~~~~~~~~~~~~~~~
菊座12月18日到洛阳市开座谈会,地点在河南科技大学学术交流中心。莫失良机。我去拍点片子,到时候给大家直播



af3cf9134954092359609f2a9358d109b2de49e2.jpg

评分

参与人数 8基本分 +180 收起 理由
iwait + 8 很给力!
vincentdark + 40 祝贺旗舰正式入役!
nekoko + 22 只有这么多分了!
金鹏 + 60 完成舾装要下水测了!
swh@home + 20 很给力!
coju + 15 很给力!
flybike007. + 8 赞一个!
horst1981 + 7 坐等直播

查看全部评分

 楼主| 发表于 2016-11-26 01:46:58 | 显示全部楼层
本帖最后由 CCCP0081 于 2016-11-26 03:28 编辑

喵总 不要睡我的沙发
 楼主| 发表于 2016-11-26 01:52:00 | 显示全部楼层
占凳待编
发表于 2016-11-26 03:54:11 | 显示全部楼层
前排~支持!

题外话:
C叔的四子星虽然没跑了多久,但我个人觉得还是应该换cpu了
L5520  45nm  4C8T    60W
L5630  32nm  4C8T    40W
L5640  32nm  6C12T  60W
制程的升级带来了更低的功耗/更多的核心,而且L5640已经是1366针平台最顶级的低压U了,现在淘宝上一颗也不到200。如果手头宽裕,全换成L5640的话,在总功率不变的情况下总线程数就能到96个。
虽然这样换的话,再加一点钱就能一台双路E5,总线程也能到96。但是你得加钱啊,其次功耗要增加很多啊,所以换L5640从长远考虑我觉得值!

点评

给力哟!: 5.0
给力哟!: 5
应该升级CPU  发表于 2016-11-30 23:52

评分

参与人数 1基本分 +30 收起 理由
CCCP0081 + 30 赞一个!

查看全部评分

 楼主| 发表于 2016-11-26 04:05:05 | 显示全部楼层
本帖最后由 CCCP0081 于 2016-11-26 04:06 编辑
vincentdark 发表于 2016-11-26 03:54
前排~支持!

题外话:

等1年,用1年,换个好U又撑1年
发表于 2016-11-26 04:19:05 | 显示全部楼层
CCCP0081 发表于 2016-11-26 04:05
等1年,用1年,换个好U又撑1年

C叔的精神值得学习!不过目前还是改散热系统重要,真心扛不住暴力风扇的噪音……

PS:都北京时间凌晨4点了,C叔还在奋战?在下先行告退了~
发表于 2016-11-26 09:20:52 | 显示全部楼层
你的机箱准备放进机架还是单独放?如果要放进机架的话,还是用方案1吧。安装简单,维护方便,稳定可靠。
发表于 2016-11-26 09:46:37 | 显示全部楼层
小弟毛遂自贱特来关公面前耍大刀……哦,不……C叔面前吹冷水。
这机子让我搞水冷,我的方安如图:
保留原来的风扇,去掉散热器加装水冷头,每两个冷头并联一组水路,每一组水路接一个泵箱和两个240冷排(两U共120W的话,一个240排加好的风扇应该也勉强可以应付),应该就可以了。
(蓝线入冷水,红线出热水,管子从后面穿过)
这方案好处是成本较低,风水并存,风扇转速可以调到低水平。
坏处是管线较多,冷排和泵外置也要考虑集成到一个架子上。
CCCP0081_ipe.jpg

点评

是的,大方案就是这样的。^_^  发表于 2016-11-26 21:13
发表于 2016-11-26 11:40:08 | 显示全部楼层
严重围观核动力冷却方案
发表于 2016-11-26 12:09:20 | 显示全部楼层
C6100用这么暴力的扇子,主要还是因为内部风阻太大……
低转速的风扇根本维持不了风压,也就是说用普通扇子,风是一点儿都吹不出来的……

水冷我感觉也比较特殊,其实考虑这个U的功耗,用串接应该没有问题,
最大的问题我感觉是因为空间很狭窄,只有1U,所以冷头是不是应该只能侧面出?
管子可能还得用比较细的,后边的那个PCI挡板我没记错的话是半高的……

冷排什么的直接放在外边其实就好~~

点评

正解  发表于 2016-11-26 21:47
发表于 2016-11-26 12:11:23 | 显示全部楼层
其实叔我觉得还有一个省事儿的办法,就是不要壳子了
4个片子直接都抽出来,用转接线供电,散热器换普通台式机的,找个架子一摆,直接用220V小风扇吹着散热就好了呗~~

点评

精辟!: 5.0
精辟!: 5
赞同  发表于 2016-11-28 23:10
也是一个解决思路,值得考虑  发表于 2016-11-26 21:49
发表于 2016-11-26 12:15:27 | 显示全部楼层
另外叔你说的那个集群软件在哪里下?
发表于 2016-11-26 12:15:58 | 显示全部楼层
test
发表于 2016-11-26 12:28:17 | 显示全部楼层
nekoko 发表于 2016-11-26 12:09
C6100用这么暴力的扇子,主要还是因为内部风阻太大……
低转速的风扇根本维持不了风压,也就是说用普通扇子 ...

CPU散热片前后固定两个4CM低速风扇应该也行。

点评

实测可用空间高度30mm^_^  发表于 2016-11-27 16:24
发表于 2016-11-26 12:37:10 | 显示全部楼层
vardrag 发表于 2016-11-26 12:28
CPU散热片前后固定两个4CM低速风扇应该也行。

用涡轮扇应该也行?不过涡轮也够吵的……
您需要登录后才可以回帖 登录 | 新注册用户

本版积分规则

论坛官方淘宝店开业啦~

小黑屋|手机版|Archiver|中国分布式计算总站 ( 沪ICP备05042587号 )

GMT+8, 2021-9-19 14:04

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表