深入研究一种适合 SAS Foundation 混合工作负载的新的软件定义融合基础架构（4）

look_w

通过 no -L -F 更改的 AIX 网络环境/适配器参数与默认值的比较
一般网络参数

------------------------------------------------------------------------------------------------- NAME                      CUR    DEF    BOOT   MIN    MAX    UNIT           TYPE     DEPENDENCIES ------------------------------------------------------------------------------------------------- fasttimo                  100    200    100    50     200    millisecond       D ------------------------------------------------------------------------------------------------- sb_max                    32M    1M     32M    4K     8E-1   byte              D ------------------------------------------------------------------------------------------------- ##Restricted tunables poolbuckets               7      1      1      1      20     numeric           D -------------------------------------------------------------------------------------------------

TCP 网络可调优参数

-------------------------------------------------------------------------------- NAME            CUR    DEF    BOOT   MIN    MAX    UNIT      TYPE  DEPENDENCIES -------------------------------------------------------------------------------- hstcp           1      0      1      0      1      boolean   D -------------------------------------------------------------------------------- rfc1323         1      0      1      0      1      boolean   C -------------------------------------------------------------------------------- sack            1      0      1      0      1      boolean   C -------------------------------------------------------------------------------- tcp_mssdflt     8960   1460   8960   1      64K-1  byte      C -------------------------------------------------------------------------------- tcp_recvspace   856K   16K    856K   4K     8E-1   byte      C     sb_max -------------------------------------------------------------------------------- tcp_sendspace   856K   16K    856K   4K     8E-1   byte      C     sb_max --------------------------------------------------------------------------------

UDP 网络可调优参数

NAME            CUR    DEF    BOOT   MIN    MAX    UNIT   TYPE  DEPENDENCIES -------------------------------------------------------------------------------- udp_recvspace   768K   42080  768K   4K     8E-1   byte   C     sb_max -------------------------------------------------------------------------------- udp_sendspace   256K   9K     256K   4K     8E-1   byte   C     sb_max --------------------------------------------------------------------------------        n/a means parameter not supported by the current platform or kernel        Parameter types: S = Static: cannot be changed D = Dynamic: can be freely changed B = Bosboot: can only be changed using bosboot and reboot R = Reboot: can only be changed during reboot C = Connect: changes are only effective for future socket connections M = Mount: changes are only effective for future mountings I = Incremental: can only be incremented        Value conventions: K = Kilo: 2^10       G = Giga: 2^30       P = Peta: 2^50 M = Mega: 2^20       T = Tera: 2^40       E = Exa: 2^60

备注：在已连接的交换机端口的速度更改为 56000 后，重新启动 LPAR 即可实现自动配置的端口速度更改。
ESS Linux I/O 服务器适配器连接更改
经过广泛测试后，ESS 网络适配器 bond0 参数从 LACP 更改为 ALB。

# vi /etc/sysconfig/network-scripts/ifcfg-bond-bond0 BONDING_OPTS=”miimon=100 mode=balance-alb xmit_hash_policy=layer3+4” MTU=9000

ESS Linux I/O 服务器网络调优参数
以下操作系统网络可调优参数已对 Linux ESS I/O Network Shared Disk (NSD) 服务器的默认值作出更改。

ppc64_cpu --smt=2 ethtool -G enP4p1s0 rx 8192 tx 8192 ethtool -G enP9p1s0 rx 8192 tx 8192 ethtool -G enp1s0 rx 8192 tx 8192 mlnx_tune -r -c ethtool -K enP9p1s0d1 tx-nocache-copy off ethtool -K enP4p1s0d1 tx-nocache-copy off ethtool -K enp1s0d1 tx-nocache-copy off

备注：在 ESS 安装过程中，已预先设置/调优了 ESS 节点网络可调优参数。
ESS Spectrum Scale 调优参数 以下 Spectrum Scale 集群调优参数已根据默认值进行了更改并用于混合 AIX/Linux GPFS 集群。从 Spectrum Scale                4.2.0.3 开始，第一列中的句点“.”表示该参数已通过 workerThreads                参数进行了更改。该特性有时称为自动调优特性，在此特性中，更改参数 workerThreads                也会导致其他可调优参数自动对默认值进行更改。
已更改的 Spectrum Scale 可调优参数（按照对性能的影响从高到低列出）包括                Pagepool、workerThreads、prefetchPct、maxFilesToCache、maxblocksize 和 maxMBpS。这些可调优参数为                SAS Mixed Analytics 工作负载提供了最重大的性能提升。一般而言，针对 SAS 工作负载的最重要 Spectrum Scale                可调优参数是 Pagepool。与初始环境测试中的其他 Spectrum Scale 可调优参数相比，增加客户端节点上的                Pagepool 提供了最大的性能改善。根据其他环境中的后续相关 ESS GL4 测试，我们预计，如果客户端节点上的 Pagepool 从 32                GB 增长到 64 GB，与本文中报告的数字相比，性能将提高 5% 到 10%。
因此，以下突出显示的参数被视为最重要的可调优参数，应该首先考虑更改它们。请注意，对于 ESS，在 ESS 安装过程中已更改了许多默认配置值。ESS                经过了高度优化，对于我们的测试，所需的调优更改极少。例如，ESS 节点的 Pagepool 的最大默认大小为 72 GB。，了解 Spectrum Scale 配置可调优参数的完整列表。
运行 AIX 的客户端节点：

• maxblocksize 16777216
• maxFilesToCache 50000
• maxMBpS 24000
• Pagepool 34359738368
• prefetchPct 40
• workerThreads 1024

ESS/Linux 节点：

• maxblocksize 16777216
• maxFilesToCache 50000
• maxMBpS 24000
• prefetchPct 40
• seqDiscardThreshhold 1073741824
• workerThreads 1024

备注：在 ESS 安装过程中，已通过 Spectrum Scale 性能脚本设置了许多非默认参数。
结束语IBM 和 Mellanox 通过针对 SAS 工作负载的 JBOD                近线磁盘存储解决方案，实现了一个有效且相对经济的以太网，该解决方案的性能与更昂贵的中间层光纤通道连接闪存相当。使用 AIX（位于基于 IBM                POWER8 处理器的服务器上）作为 SAS 客户端，凸显出了其作为这个成功 POC 强大工作引擎的优势。只有 Mellanox                才能提供的以太网高速存储网络是实现 ESS 完整 I/O 吞吐量的关键，它还提供了运行 40GbE 结构的能力，而且除了以 56GbE                速度运行的交换机的解决方案配置和以 56GbE 速度运行的 40GbE 适配器的自动配置（在 IBM 产品组合中使用 56GbE                电缆实现）之外，没有任何额外费用。
从这个 SAS Mixed Analytics 工作负载概念证明收集的性能指标表明，该解决方案在 SAS 应用程序中发挥了 IBM Elastic                Storage Server、Mellanox 网络和 Power E880                的全部潜力。跨学科团队通过结合使用团队服务器、网络、存储和应用程序专家经验，对系统的所有部分进行交互式调优和优化，获得了卓越的性能。除了业界领先的硬件和软件之外，这是这个                POC 获得成功的关键。