再测4路64核推土机的PPD

cuda

在上周已经作过一些初步测试，具体参见这个帖子以及后续讨论。但是那次测试的结果很差，经分析认为可能主要是使用的Linux内核有问题。后来这台推土机升级过了系统，内核采用最新的Linux 3.3内核优化参数后重新进行了编译。今天重新去进行了一些测试，结果果然大不一样，感觉64核的威力基本上发挥出来了。

测试成绩：(CPU是4颗AMD Opteron 6272)

1. p7135，上次测试TPF 1分7秒，  PPD约9.7万
   
2.        本次测试TPF 45秒左右，PPD约17.7万
   
3. 
   
4. p6901，上次测试TPF 15分左右，PPD约8.5万
   
5.        本次测试TPF 8分10秒， PPD约21万
   
6. 
   
7. p6903，上次测试TPF 34分15秒，PPD约13万
   
8.        本次测试TPF 18分10秒，PPD约34万
   

复制代码

p6904包很难遇到，在测试中没出现，根据网上的资料按比例估算PPD应该在36-37万左右。

从这个测试比较可以看到多路机器的系统优化非常重要，同样的机器跑同样的包PPD差别可以达到好几倍。有一点值得注意的是，在使用某些内核时，thekraken wrapper加速效果很好。但在3.3内核中，是否使用thekraken wrapper似乎已经没有多大差别了，以上测试中并未使用thekraken wrapper。

此外，以前曾认为4路系统的性能总是应小于同配置的2路系统的2倍，但本次测试中发现经优化后4路系统也可能存在性能略大于2路系统2倍的情况，这样两者的PPD的差距超过2.82倍也是有可能的。

201208补充：这里的成绩仍然偏低，最终测试结果见: http://www.equn.com/forum/viewthread.php?tid=34832

lwpk

看看先.......

金鹏

回复 1# cuda

感谢兄弟辛苦测试！总算有了论坛实测四轮车PPD了

参考国外的PPD感觉还有上升优化空间，AVX？

Quote:
Originally Posted by gsa700


Quote:
Originally Posted by Linden

P6903: TPF 37:35, 115KPPD; a bit more with a 6904. This was my introduction to multiprocessor Folding and to Linux.
.....parts arriving any day to build a 4P G34.....

That's not too bad, the 4p should be loads better though.
Supermicro 4 x 6272 draws 665 Watts at full load. Linux PPD p6903 ~380K, p6901 ~226K, p6904 ~413K. NO Kraken

Mobo: SuperMicro H8QGI+-F
CPUs: 4 x 6174
CPU overclock: stock 2.2
Ram speeds: 1333 9-9-9-24
Watts:

WU: 6903
TPF: 15:09
PPD: 449607

Mobo: H8QGi+-F
CPUs: 4 x 6174
CPU overclock: stock 2.2
Ram speeds: 1333 7-7-7-21 1.5v
Watts: 518
WU: 6903
TPF:14:09
PPD: 498k

WU: 6904
TPF: 19:17
PPD: 512k

And the 6174 rig is now OCed

Mobo: SM H8QGI-F
CPUs: 4 x 6174
CPU stock: 2.2
CPU overclock: 2.475
Ram speeds: 1200 6-6-6-17
Watts: 550

WU: 6903
TPF: 12:52
PPD: 575K

And the 6134 rig is now OCed

Mobo: SM H8QGI+-F
CPUs: 4 x 6134
CPU stock: 2.3
CPU overclock: 2.5875
Ram speeds: 1200 8-8-8-22
Watts: 550

WU: 6903
TPF: 20:07
PPD: 293.8k

cuda

以上测试中看到的最大功率大约是610W，比这里的665W小，也许是没开睿频造成的？
测试机器上似乎无法启用turbo all cores。

Supermicro 4 x 6272 draws 665 Watts at full load. Linux PPD p6903 ~380K, p6901 ~226K, p6904 ~413K. NO Kraken

ocw

回复 1# cuda

你又可以看看可不可以在 BIOS 裡改這些設定:

BIOS settings to check
- PowerNow set to Disabled (see above for the check)
- NUMA/SRAT set to Enabled
- Node Interleaving set to Disabled
- Bank/channel interleaving set to Auto or Enabled
- Tyan boards - Ungang DCTs set to Always

還有, 內存是否每個　U　兩條或以上？

cuda

多谢！我会转告给机器的所有者，以后有机会尝试一下。
内存总共是64G，8G*8还是16G*4倒没注意。这个也有影响吗？

回复 5# ocw

ocw

多谢！我会转告给机器的所有者，以后有机会尝试一下。
内存总共是64G，8G*8还是16G*4倒没注意。这个也有影 ...
cuda 发表于 2012-2-3 00:46

老外說最好是４Ｘ4 X1G，或４Ｘ4X2G, 甚至是 4X8X1G. 若果內存跑CL7, 可以快CL9每1% 20至30秒.

金鹏

回复 4# cuda


    这个仅能参考，也许挂载的硬盘和其他设备有差异。

turbo all cores不开肯定要损失不少性能

金鹏

回复 4# cuda


  

4P 6274 P6904@20:56 TPF @ 710W
~453K PPD
it is cheaper if you go with MC (used), more efficient.

http://hardforum.com/showthread.php?t=1652213&page=5

heren3

如果推土机有便宜一半的ES，那还轮得到去考虑SR-2和SR-X

cuda

跑完了1个p6903包，实际得分429393。以下是summary信息：

1.         Parallel run - timing based on wallclock.
   
2. 
   
3.                NODE (s)   Real (s)      (%)
   
4.        Time: 103675.778 103675.778    100.0
   
5.                        1d04h47:55
   
6.                (Mnbf/s)   (GFlops)   (ns/day)  (hour/ns)
   
7. Performance:   2022.185    106.383      0.800     29.984
   
8. 
   
9. Thanx for Using GROMACS - Have a Nice Day

复制代码

期间TPF最短17分54秒, 最长18分9秒（未使用kraken插件，如使用TPF反而增至18分30以上）。
由实际得分反推包含上下传时间等的平均TPF是18分20秒，对应实际的PPD约为33.8万。

此外，跑完这个p6903之后终于接到一个p6904包，不过TPF不太理想只有25分钟左右，对应PPD不比p6903高，看来还需要进一步优化。但很可惜由于不是自己的机器，这次的测试基本上只能到此为止了。我想如果能充分优化，40万的PPD应该不难做到。如果还能超频成功，那50万以上的PPD也并非不可能。

明鏡止水

太贵了。对我来说

singlelms

OMG....64COREs~

saco

Quote Details
Quote Number: XXXXXXXXXXXXXXX

Item Number           Quantity             Item Description
224-8310                17                      R815 Chassis for Up to Six 2.5 Inch Hard Drives
330-8350                17                      PowerEdge R815 Shipping
317-7879                17                      64GB Memory (16x4GB), 1333MHz, Dual Ranked LV RDIMMs for 2 or 4 Processors
317-0026                17                      Server DIMM Slot Blank,Quantity 16
317-5970                17                      Memory for 2 or 4 CPU Platforms
430-4468                17                      Two Embedded Broadcom 5709C Dual-Port Controllers
317-8240                17                      2x AMD Opteron 6276, 2.3GHz, 16C, Turbo CORE, 16M L2/16M L3, 1600Mhz Max Mem
330-8351                17                      PowerEdge RX15 Heatsink
330-8351                17                      PowerEdge RX15 Heatsink
317-8250                17                      Upgrade to Four AMD Opteron 6276, 2.3GHz, 16C, Turbo CORE, 16M L2/16M L3, 1600Mhz Max Mem
330-8351                17                      PowerEdge RX15 Heatsink
330-8351                17                      PowerEdge RX15 Heatsink
341-4158                17                      HD Multi-Select
342-0370                17                      PERC H200 Integrated RAID Controller
330-8923                17                      H200 Integrated Cable, PowerEdge R815
330-3492                17                      Performance BIOS Setting
420-6320                17                      No Operating System
467-8649                17                      iDRAC6 Express
313-9092                17                      DVD ROM, SATA, INTERNAL
313-9263                17                      PowerEdge RX10/X15 Bezel
310-5171                17                      NO DOCUMENTATION
342-0919                17                      RAID 0 for PERC H200 or PERC H700 Controllers (Non-Mixed Drives)
330-9420                17                      ReadyRails Sliding Rails Without Cable Management Arm
330-9293                17                      1100 Watt Non-Redundant Power Supply
923-8042                17                      Basic Hardware Services: Business Hours (5X10) Next Business Day On Site Hardware Warranty Repair 2Year Extended
927-1880                17                      Basic Hardware Services: Business Hours (5X10) Next Business Day On Site Hardware Warranty Repair Initial Year
909-4018                17                      Dell Hardware Limited Warranty Plus On Site Service Extended Year
909-3877                17                      Dell Hardware Limited Warranty Plus On Site Service Initial Year
994-4019                17                      Basic support covers SATA Hard Drive for 1 year only regardless of support duration on the system
923-8129                17                      DECLINED CRITICAL BUSINESS SERVER OR STORAGE SOFTWARE SUPPORT PACKAGE-CALL YOUR DELL SALES REP IF UPGRADE NEEDED
900-9997                17                      On-Site Installation Declined
926-2979                17                      Proactive Maintenance Service Declined
342-0428                17                      500GB 7.2K RPM Near-Line SAS 6Gbps 2.5in HotPlug Hard Drive
342-0428                17                      500GB 7.2K RPM Near-Line SAS 6Gbps 2.5in HotPlug Hard Drive
342-0428                17                      500GB 7.2K RPM Near-Line SAS 6Gbps 2.5in HotPlug Hard Drive
342-0428                17                      500GB 7.2K RPM Near-Line SAS 6Gbps 2.5in HotPlug Hard Drive
310-8509                17                      Power Cord, NEMA 5-15P to C13, 15 amp, wall plug, 10 feet / 3 meter
463-0742                17                      Special Pricing Applied


*                                                     -DISCOUNT $27,466.90
*                                                     -DISCOUNT/COUPON APPL

Subtotal:                                          $110,420.10
Shipping & Handling:                         $0.00
Tax:                                                 $6,902.17
Environmental Disposal Fee:               $0.00
Total Price w/Discounts:                     $117,422.27

cuda

6276支持1600内存吗？好像一般测试看到的都是1333内存。
11万的价格似乎有点贵了，不知能打多少折扣？ocw正在diy的那台4路6272才2万多吧。

saco 发表于 2012-2-11 04:32
317-8240                17                      2x AMD Opteron 6276, 2.3GHz, 16C, Turbo CORE, 16M L2/16M L3, 1600Mhz Max Mem