机架式服务器待机功耗详细测评

机架式服务器是电老虎？

都说机架式服务器是电老虎，用下来感觉功耗也不低。待机也有160W，于是我就好奇，到底是什么导致机架式服务器如此费电？
为了一探究竟，就有了这次实验。
整个实验过程涉及多次硬件更换，服务器开关机，耗时较久，花了我一整天的时间进行测试。最终得到了机架式服务器各个部分对功耗的影响效果相关结论。

测试的机架式服务器型号

本次测试的服务器型号为浪潮的SA5212M4服务器。
该服务器为双路C612芯片组的平台（也就是所谓的X99平台），有16个DDR4内存插槽，前置12个3.5寸硬盘位，兼任SAS/SATA硬盘。后后置四个2.5寸SATA硬盘位。
可以选配Riser卡安装显卡，提供显卡供电，供电为双8PIN。我是安装了一块RTX2080Ti使用。
现在这个机器价格相当廉价，前段时间准系统的价格甚至200多就能搞到手，不乏有人想要拿这玩意做NAS。

以下是各个部分详细测试：

未开机状态下待机功耗

服务器由于自带了BMC，而这个模块只要通电就会启动，来提供服务器远程管理功能。一般而言，可以做到远程开机，远程调整BIOS设置，远程重装系统等。对于想用服务器运行服务的情况下，BMC提供了极大的便利。
而这种便利是有代价的，那就是未开机下，也有将近8W的待机功耗，而且这个功耗始终存在。

核心部件功耗测试

为了探究服务器最核心部分的组件待机功耗，我移除了所有硬盘，只保留一个CPU和一条内存条。然后在BIOS里面关掉尽可能多的外围设备，这其中就包括了控制前置硬盘笼的板载3008IT直通阵列卡。当然，前置硬盘笼和后置硬盘笼我没有移除，如果这两个东西没有的话，服务器的功能就大残了。对于3008IT，有一些机器是不带的，前置硬盘笼靠主板的SATA口控制。
保留的配置情况:

CPU:E5-2630v4 80W TDP 单CPU
内存：16G DDR4 2133MHz REG ECC 一条
电源：移除冗余电源，只保留一个电源模块。单个电源800W
硬盘笼：保留前置硬盘笼和后置硬盘笼

E5-2630v4 CPU:

变更配置后的服务器：

由于一般而言，计算机进入操作系统后，由操作系统调控CPU，功耗可以降低。
就实验而言，以上配置开机未进入系统状态下功耗将近100W，而进入操作系统后，功耗大约50W。
在其他的平台我也发现了相同的现象。
为了得到真实的待机功耗，我使用U盘引导Linux Live镜像，进入操作系统，降低使用硬盘对测试结果的影响。
以下是在我经过各自调整后，最低的功耗：

大约50W左右，对NAS来说已经相当恐怖了。我的现任NAS，待机也就37.5W。现在这个功耗还只是核心部件，风扇转速10%的情况下测得的功耗。

板载3008IT直通卡功耗

在测试过程中，为了降低核心部分功耗，我关闭了板载的3008IT直通卡，然后就观察到功耗的明显下降。
上图就是关闭了尽可能多的外围设备后的功耗，实际测试下来其他部件关闭对功耗影响都不是很大，而3008IT影响非常大。
下图是3008IT开启的时候的功耗：

可以看到，3008IT直通卡大概也有6.6W的功耗，已经比一块3.5寸消费级机械硬盘还高了。
因此，除非你想使用便宜的SAS盘，不然不建议选带3008IT的服务器作为NAS。
当然，SAS盘和企业级硬盘也不是省油的灯，后面我会提到。

核心数量增加对待机功耗的影响

不同核心的CPU，TDP也不一样。
E5V4的Broadwell-EP总共拥有三个原生Die(芯片)，LCCDie有2列10个核心，MCCDie有3列15个核心，HCCDie则有4列24个核心。

E5-2630v4是 80W TDP
规格为 10C 20T 2.2GHz
但是：
E5-2686v4是 145W TDP
规格为 18C 36T 2.3GHz

E5-2686v4是我平时使用的CPU，规格相差这么大，核心DIE不一样，原生核心数量也不一样，会不会有明显的功耗差异？
于是，我将E5-2630v4替换为了E5-2686v4进行功耗测试，

进入系统后待机功耗：

可以看到，比E5-2630v4要高2W的功耗，说明核心变多，DIE变大，确实会导致功耗增加，但是待机状态下增加的功耗也没有特别夸张。
2W的功耗，如果不是对功耗特别敏感的话，差不多也可以忽略不计。

内存数量对功耗的影响

实验到现在，内存只有一条。
接下来我将会加上三条内存，让CPU可以达到四通道的内存工作状态。

此时的功耗：

功耗大约上升了1.7W，折算下来的话，一条内存也就0.6W不到的功耗。内存的功耗也确实不大。

组双路后的功耗

接下来，我把服务器另一个CPU也安装上，对应也插了四条内存。
对于NUMA架构来说，就是增加了一个计算节点，所以这次测试增加的功耗就是单个计算节点的功耗。

待机功耗：

可以看到，功耗从原来的54W变成了89w，增加的功耗为35W。
基本上符合预期，因为之前54W的待机功耗，如果除掉BMC，风扇，硬盘背板这些的功耗消耗，估计也是接近35W的功耗。
因此，基本上可以断定，增加一个计算节点，功耗大约增加了30～35W。

机械硬盘的功耗

这是最让我吃惊的测试。没想到电费刺客竟然是企业级硬盘！
就是下图这种：

由于我稍微提高了风扇的转速，不然CPU太热了。功耗稍微有所提高：

插入一块硬盘后的功耗变化：

可以看到，功耗从原来的95.3W变成了104.3W，增加了9W的功耗！
再插入第二块：

增加了7.5W
两个同型号的硬盘，插入服务器增加的功耗却不一样，我推断有可能是有一块电机老化比较严重，导致维持运转需要更高的功耗。
然后是SAS盘，这个最逆天：

功耗记录：

直接增加了将近10W的功耗！
接下来看看消费级硬盘的表现：

插入后的功耗：

大概功耗只有4.2W。
当然，有一点必须要指出的是，前面两个日立的硬盘是3TB的，而那个东芝的SAS盘是6TB的，而且都是多碟的硬盘，拿在手里比那个希捷酷鱼要重得多，所以出现这个显著的功耗差异也是情有可原。
只是想说明一下，NAS党选购硬盘还是尽量去找低功耗的，不然如果搞到“电老虎”硬盘，后续使用反而划不来。

小结一下

服务器待机功耗高的原因我也是找到了，主要是一下几点：

服务器主板板载设备多，导致额外的电力消耗。如BMC，阵列卡，直通卡这些，都会额外消耗电力。
服务器的风扇默认策略太激进，虽然没有测评，但是就我实际使用下来，默认风扇转速，风扇功耗有21W左右，而降速到20%，风扇功耗就会降低到8W。所以，如果是要长期运行，调整风扇转速，在保持硬件不过热的情况下尽量降低风扇转速是有必要的。
硬盘笼里面的硬盘，虽然单个硬盘功耗不是很高，但是如果你塞满硬盘笼，按照一个硬盘八九瓦算，增加个100W功耗那是轻轻松松的。