深入研究一种适合 SAS Foundation 混合工作负载的新的软件定义融合基础架构（3）

look_w

gpfsperf 顺序写命令样本：

/usr/lpp/mmfs/samples/perf/gpfsperf create seq /gpfs/sasdata_1m/data/n1aa -r 1m -th $1 -n 3072M &

gpfsperf 顺序读命令样本：

/usr/lpp/mmfs/samples/perf/gpfsperf read seq /gpfs/sasdata_1m/data/n1aa -r 1m -th $1 &

gpfsperf 顺序读/写命令样本：

/usr/lpp/mmfs/samples/perf/gpfsperf mixrw seq /gpfs/sasdata_1m/data/n1aa -r 1m -th $1 -n 3072M -readratio 70 &

对 56GbE 结构进行 SAS 工作负载测试的测试结果
20-test 混合分析工作负载没有网络 I/O 限制；因此与 40GbE 结果相比，（单节点或多个节点上的）20-test                工作负载没有实现任何性能改善。但是，与以 40GbE 速度运行的端口相比，当网络端口调节为以 56GbE 速度运行时，30-test                工作负载表现出了性能改善。

• 当端口以 56GbE 速度运行时，单节点上的 30-test 工作负载的真实时间减少了 5%。
• 当端口以 56GbE 速度运行时，在所有 4 个节点上同时运行的 30-test 工作负载（总共 120 个测试）的真实时间减少了                    8%。
• 与以 40GbE 速度运行的 14 GBps 吞吐量相比，以 56GbE 速度运时，4 节点测试实现了 16 GBps 的峰值 I/O                    吞吐量。与以 40GbE 速度运行的 11 GBps 吞吐量相比，以 56GbE 速度运时，该测试实现了 12.15 GBps 的平均                    I/O 吞吐量。

图 12 和图 13 展示了 30-test 工作负载以 40GbE 和 56GbE 速度运行时的 I/O 吞吐量。
图 12. 以 40GbE 速度运行时，扩展到 4 个节点的 30-test 工作负载（总共 120                    个测试）的 I/O 吞吐量点击查看大图
图 13. 以 56GbE 速度运行时，扩展到 4 个节点的 30-test 工作负载（总共 120                    个测试）的 I/O 吞吐量点击查看大图
调优 本节将提供如何调优环境的每个方面的指导和建议。
交换机调优
有 5 个经过修改的交换机调优参数：

• 流控制

Interface ethernet 1/n flowcontrol receive on force Interface ethernet 1/n flowcontrol send on force

• 接口速度

Interface ethernet 1/n speed 56000, where n= port 1-36

• 接口 MTU 大小

Interface ethernet 1/n mtu 9000, where n= port 1-36

• 在需要时进行 LAG 配置调优

Interface port-channel y flowcontrol receive on force, where y = 1 – max number of LAG groups Interface port-channel y flowcontrol send on force, where y = 1 – max number of LAG groups

• LAG 负载平衡

port-channel load-balance ethernet source-destination-ip source-destination-mac source-destination-port

为了实现冗余性，客户端节点 (LPAR) 拥有双端口适配器。由于适配器所插入的 PCI Gen3.0 x8 总线的限制，适配器的最大总带宽限制为                56GbE。在需要增加带宽和冗余性时，建议以 56GbE 速度运行交换机端口来增加带宽。将适配器配置为模式 1 (Active / Standby)                来提供冗余性。
备注：实验室环境中有一台 36 端口的 40GbE / 56GbE 交换机。它拥有 4 条来自客户端节点                (LPARS) 的链接和 7 条来自 ESS 存储的链接，总共使用了 11 个端口。客户可能不希望整个交换机受到只能使用 11                个端口的限制。Mellanox 通过 IBM 业务合作伙伴提供了一个选项 - 一个拥有 12 个端口的较少端口交换机                MSX-1012B-2BFS，这个交换机使用与 IBM 8831-NF2 相同的 MLNX-OS 和 ASIC，并拥有与其相同的特性。
AIX 客户端网络调优参数
以下操作系统网络的可调优参数是根据 AIX 默认值进行更改的。要查看 lsattr 命令输出、no -a 命令输出以及 Spectrum Scale                    可调优参数的完整列表，请参阅“
根据默认适配器设置，对 AIX SAS 客户端适配器接口 en3 进行的更改

# en3 mtu           9000          Maximum IP Packet Size for This Device        True rfc1323       1             Enable/Disable TCP RFC 1323 Window Scaling    True tcp_nodelay   1             Enable/Disable TCP_NODELAY Option             True tcp_recvspace 1048576       Set Socket Buffer Space for Receiving         True tcp_sendspace 1048576       Set Socket Buffer Space for Sending           True thread        on            Enable/Disable thread attribute               True

根据默认设置对 AIX SAS 客户端适配器设备 ent3 进行的更改