涡轮4090 PPD表现 【虚拟机直通环境】

Keyco

这块涡轮4090是用来做CUDA计算调研用的，这几天闲着就拿来跑跑看效果。【跑在PVE虚拟机直通环境下】


对比下来发现：

• 魔鹰核心频率是2775，而涡轮只有2700
• 温度魔鹰较低（开放式机架）基本稳定再53~54℃之间，涡轮稍高61~63℃之间
• 同样的包18213，魔鹰TPF是24~25秒之间波动，涡轮4090是26~28秒之间波动差距约10%。
• 在folding中，魔鹰GPU占用很稳，可以长期稳定在98%占用率；而涡轮4090一致会在80~90+之间波动，甚至会低到70%多。最高占用也只有95%
• 魔鹰所在电脑是12900KS OC 5.5GHz，而虚拟机CPU是基频2.2GHz，2.8GHz turbo的E5 2696 V4 （会考虑拆下来跑在12900KS上试试看）
  

zflowers

按理说2696V4也不差了，看看换到12900KS的对比结果

Keyco

在研究ubuntu超频的事情，挖矿的软件可以超，为啥我这个超不了，头大。
研究好了换涡轮到12900ks上面试一下。

Keyco

涡轮4090被我挪到了机架上开跑，由于风道的原因，散热不是太给力。
仔细看了一下，跑的时候的核心电压和魔鹰不一样，魔鹰是常见的1.05V，而涡轮4090是1.01V

1. GPU 00000000:02:00.0
   
2.     Product Name                          : NVIDIA GeForce RTX 4090
   
3.     Product Brand                         : GeForce
   
4.     Product Architecture                  : Ada Lovelace
   
5.     Display Mode                          : Disabled
   
6.     Display Active                        : Disabled
   
7.     Persistence Mode                      : Enabled
   
8.     MIG Mode
   
9.         Current                           : N/A
   
10.         Pending                           : N/A
    
11.     Accounting Mode                       : Disabled
    
12.     Accounting Mode Buffer Size           : 4000
    
13.     Driver Model
    
14.         Current                           : N/A
    
15.         Pending                           : N/A
    
16.     Serial Number                         : N/A
    
17.     GPU UUID                              : GPU-7102375d-9b41-c59a-70c7-3c079395024d
    
18.     Minor Number                          : 1
    
19.     VBIOS Version                         : 95.02.18.C0.09
    
20.     MultiGPU Board                        : No
    
21.     Board ID                              : 0x200
    
22.     Board Part Number                     : N/A
    
23.     GPU Part Number                       : 2684-300-A1
    
24.     Module ID                             : 1
    
25.     Inforom Version
    
26.         Image Version                     : G002.0000.00.03
    
27.         OEM Object                        : 2.0
    
28.         ECC Object                        : 6.16
    
29.         Power Management Object           : N/A
    
30.     GPU Operation Mode
    
31.         Current                           : N/A
    
32.         Pending                           : N/A
    
33.     GSP Firmware Version                  : N/A
    
34.     GPU Virtualization Mode
    
35.         Virtualization Mode               : None
    
36.         Host VGPU Mode                    : N/A
    
37.     IBMNPU
    
38.         Relaxed Ordering Mode             : N/A
    
39.     PCI
    
40.         Bus                               : 0x02
    
41.         Device                            : 0x00
    
42.         Domain                            : 0x0000
    
43.         Device Id                         : 0x268410DE
    
44.         Bus Id                            : 00000000:02:00.0
    
45.         Sub System Id                     : 0x167C10DE
    
46.         GPU Link Info
    
47.             PCIe Generation
    
48.                 Max                       : 3
    
49.                 Current                   : 3
    
50.                 Device Current            : 3
    
51.                 Device Max                : 4
    
52.                 Host Max                  : 3
    
53.             Link Width
    
54.                 Max                       : 16x
    
55.                 Current                   : 8x
    
56.         Bridge Chip
    
57.             Type                          : N/A
    
58.             Firmware                      : N/A
    
59.         Replays Since Reset               : 0
    
60.         Replay Number Rollovers           : 0
    
61.         Tx Throughput                     : 376000 KB/s
    
62.         Rx Throughput                     : 49000 KB/s
    
63.         Atomic Caps Inbound               : N/A
    
64.         Atomic Caps Outbound              : N/A
    
65.     Fan Speed                             : 59 %
    
66.     Performance State                     : P0
    
67.     Clocks Throttle Reasons
    
68.         Idle                              : Not Active
    
69.         Applications Clocks Setting       : Not Active
    
70.         SW Power Cap                      : Not Active
    
71.         HW Slowdown                       : Not Active
    
72.             HW Thermal Slowdown           : Not Active
    
73.             HW Power Brake Slowdown       : Not Active
    
74.         Sync Boost                        : Not Active
    
75.         SW Thermal Slowdown               : Not Active
    
76.         Display Clock Setting             : Not Active
    
77.     FB Memory Usage
    
78.         Total                             : 23028 MiB
    
79.         Reserved                          : 337 MiB
    
80.         Used                              : 548 MiB
    
81.         Free                              : 22141 MiB
    
82.     BAR1 Memory Usage
    
83.         Total                             : 256 MiB
    
84.         Used                              : 5 MiB
    
85.         Free                              : 251 MiB
    
86.     Compute Mode                          : Default
    
87.     Utilization
    
88.         Gpu                               : 97 %
    
89.         Memory                            : 6 %
    
90.         Encoder                           : 0 %
    
91.         Decoder                           : 0 %
    
92.     Encoder Stats
    
93.         Active Sessions                   : 0
    
94.         Average FPS                       : 0
    
95.         Average Latency                   : 0
    
96.     FBC Stats
    
97.         Active Sessions                   : 0
    
98.         Average FPS                       : 0
    
99.         Average Latency                   : 0
    
100.     Ecc Mode
     
101.         Current                           : Enabled
     
102.         Pending                           : Enabled
     
103.     ECC Errors
     
104.         Volatile
     
105.             SRAM Correctable              : 0
     
106.             SRAM Uncorrectable            : 0
     
107.             DRAM Correctable              : 0
     
108.             DRAM Uncorrectable            : 0
     
109.         Aggregate
     
110.             SRAM Correctable              : 0
     
111.             SRAM Uncorrectable            : 0
     
112.             DRAM Correctable              : 0
     
113.             DRAM Uncorrectable            : 0
     
114.     Retired Pages
     
115.         Single Bit ECC                    : N/A
     
116.         Double Bit ECC                    : N/A
     
117.         Pending Page Blacklist            : N/A
     
118.     Remapped Rows
     
119.         Correctable Error                 : 0
     
120.         Uncorrectable Error               : 0
     
121.         Pending                           : No
     
122.         Remapping Failure Occurred        : No
     
123.         Bank Remap Availability Histogram
     
124.             Max                           : 192 bank(s)
     
125.             High                          : 0 bank(s)
     
126.             Partial                       : 0 bank(s)
     
127.             Low                           : 0 bank(s)
     
128.             None                          : 0 bank(s)
     
129.     Temperature
     
130.         GPU Current Temp                  : 65 C
     
131.         GPU T.Limit Temp                  : 19 C
     
132.         GPU Shutdown Temp                 : 104 C
     
133.         GPU Slowdown Temp                 : 99 C
     
134.         GPU Max Operating Temp            : 90 C
     
135.         GPU Target Temperature            : 84 C
     
136.         Memory Current Temp               : N/A
     
137.         Memory Max Operating Temp         : N/A
     
138.     Power Readings
     
139.         Power Management                  : Supported
     
140.         Power Draw                        : 272.65 W
     
141.         Power Limit                       : 450.00 W
     
142.         Default Power Limit               : 450.00 W
     
143.         Enforced Power Limit              : 450.00 W
     
144.         Min Power Limit                   : 150.00 W
     
145.         Max Power Limit                   : 450.00 W
     
146.     Clocks
     
147.         Graphics                          : 2700 MHz
     
148.         SM                                : 2700 MHz
     
149.         Memory                            : 10501 MHz
     
150.         Video                             : 2070 MHz
     
151.     Applications Clocks
     
152.         Graphics                          : N/A
     
153.         Memory                            : N/A
     
154.     Default Applications Clocks
     
155.         Graphics                          : N/A
     
156.         Memory                            : N/A
     
157.     Deferred Clocks
     
158.         Memory                            : N/A
     
159.     Max Clocks
     
160.         Graphics                          : 3105 MHz
     
161.         SM                                : 3105 MHz
     
162.         Memory                            : 10501 MHz
     
163.         Video                             : 2415 MHz
     
164.     Max Customer Boost Clocks
     
165.         Graphics                          : N/A
     
166.     Clock Policy
     
167.         Auto Boost                        : N/A
     
168.         Auto Boost Default                : N/A
     
169.     Voltage
     
170.         Graphics                          : 1010.000 mV
     
171.     Fabric
     
172.         State                             : N/A
     
173.         Status                            : N/A
     
174.     Processes
     
175.         GPU instance ID                   : N/A
     
176.         Compute instance ID               : N/A
     
177.         Process ID                        : 1592
     
178.             Type                          : G
     
179.             Name                          : /usr/lib/xorg/Xorg
     
180.             Used GPU Memory               : 6 MiB
     
181.         GPU instance ID                   : N/A
     
182.         Compute instance ID               : N/A
     
183.         Process ID                        : 29343
     
184.             Type                          : C
     
185.             Name                          : /var/lib/fahclient/cores/cores.foldingathome.org/lin/64bit/22-0.0.20/Core_22.fah/FahCore_22
     
186.             Used GPU Memory               : 538 MiB
     

复制代码

可能这个就是频率上不去，tpf慢的罪魁祸首吧。

目前18213包的tpf是25~26秒之间，cpu是12900KS oc 5.5GHz，pcie 3.0 x8。比在2696 V4下 PCIE 3.0 x16 的 26~28秒快一点。仔细看了一下，貌似pcie 3.0 x8也够用。关于CPU频率瓶颈、PCIE带宽瓶颈的边界，会在近日出差后调研。下图是2块卡同时跑18213的对比，第1个GPU是魔鹰，第二个是涡轮。涡轮卡由于已开启显存ECC，所以显存有变少。

新的4090 水超龙在途，届时看看一体水冷 4090和魔鹰的对比。

tjchkj

水龙如何了？我觉得可能还是魔鹰强

Keyco

tjchkj 发表于 2023-9-1 11:00
水龙如何了？我觉得可能还是魔鹰强

水超龙更强一点。

上图种，GPU0是我第二块水超龙，核心频率可以到2835，核心是A1，不是A0了。GPU1是魔鹰核心A0。GPU2是第一块水超龙，可以看到频率没有第二块高，核心是A0。

下图是包的表现，因为包都不一样，暂时无法横向比较。而且下载的时候耗时不一样，现在很难横向比较了。只是给你一个参考。

特斯拉

这代我看别人测试技嘉的比较安静不啸叫