Board logo

标题: 深入研究一种适合 SAS Foundation 混合工作负载的新的软件定义融合基础架构(4) [打印本页]

作者: look_w    时间: 2017-12-8 08:43     标题: 深入研究一种适合 SAS Foundation 混合工作负载的新的软件定义融合基础架构(4)

通过 no -L -F 更改的 AIX 网络环境/适配器参数与默认值的比较
一般网络参数
-------------------------------------------------------------------------------------------------
NAME                      CUR    DEF    BOOT   MIN    MAX    UNIT           TYPE     DEPENDENCIES
-------------------------------------------------------------------------------------------------
fasttimo                  100    200    100    50     200    millisecond       D
-------------------------------------------------------------------------------------------------
sb_max                    32M    1M     32M    4K     8E-1   byte              D
-------------------------------------------------------------------------------------------------
##Restricted tunables
poolbuckets               7      1      1      1      20     numeric           D
-------------------------------------------------------------------------------------------------




TCP 网络可调优参数
--------------------------------------------------------------------------------
NAME            CUR    DEF    BOOT   MIN    MAX    UNIT      TYPE  DEPENDENCIES
--------------------------------------------------------------------------------
hstcp           1      0      1      0      1      boolean   D
--------------------------------------------------------------------------------
rfc1323         1      0      1      0      1      boolean   C
--------------------------------------------------------------------------------
sack            1      0      1      0      1      boolean   C
--------------------------------------------------------------------------------
tcp_mssdflt     8960   1460   8960   1      64K-1  byte      C
--------------------------------------------------------------------------------
tcp_recvspace   856K   16K    856K   4K     8E-1   byte      C     sb_max
--------------------------------------------------------------------------------
tcp_sendspace   856K   16K    856K   4K     8E-1   byte      C     sb_max
--------------------------------------------------------------------------------




UDP 网络可调优参数
NAME            CUR    DEF    BOOT   MIN    MAX    UNIT   TYPE  DEPENDENCIES
--------------------------------------------------------------------------------
udp_recvspace   768K   42080  768K   4K     8E-1   byte   C     sb_max
--------------------------------------------------------------------------------
udp_sendspace   256K   9K     256K   4K     8E-1   byte   C     sb_max
--------------------------------------------------------------------------------
      
n/a means parameter not supported by the current platform or kernel
      
Parameter types:
S = Static: cannot be changed
D = Dynamic: can be freely changed
B = Bosboot: can only be changed using bosboot and reboot
R = Reboot: can only be changed during reboot
C = Connect: changes are only effective for future socket connections
M = Mount: changes are only effective for future mountings
I = Incremental: can only be incremented
      
Value conventions:
K = Kilo: 2^10       G = Giga: 2^30       P = Peta: 2^50
M = Mega: 2^20       T = Tera: 2^40       E = Exa: 2^60




备注:在已连接的交换机端口的速度更改为 56000 后,重新启动 LPAR 即可实现自动配置的端口速度更改。
ESS Linux I/O 服务器适配器连接更改
经过广泛测试后,ESS 网络适配器 bond0 参数从 LACP 更改为 ALB
# vi /etc/sysconfig/network-scripts/ifcfg-bond-bond0
BONDING_OPTS=”miimon=100 mode=balance-alb xmit_hash_policy=layer3+4”
MTU=9000




ESS Linux I/O 服务器网络调优参数
以下操作系统网络可调优参数已对 Linux ESS I/O Network Shared Disk (NSD) 服务器的默认值作出更改。
ppc64_cpu --smt=2
ethtool -G enP4p1s0 rx 8192 tx 8192
ethtool -G enP9p1s0 rx 8192 tx 8192
ethtool -G enp1s0 rx 8192 tx 8192
mlnx_tune -r -c
ethtool -K enP9p1s0d1 tx-nocache-copy off
ethtool -K enP4p1s0d1 tx-nocache-copy off
ethtool -K enp1s0d1 tx-nocache-copy off




备注:在 ESS 安装过程中,已预先设置/调优了 ESS 节点网络可调优参数。
ESS Spectrum Scale 调优参数 以下 Spectrum Scale 集群调优参数已根据默认值进行了更改并用于混合 AIX/Linux GPFS 集群。从 Spectrum Scale                4.2.0.3 开始,第一列中的句点“.”表示该参数已通过 workerThreads                参数进行了更改。该特性有时称为自动调优特性,在此特性中,更改参数 workerThreads                也会导致其他可调优参数自动对默认值进行更改。
已更改的 Spectrum Scale 可调优参数(按照对性能的影响从高到低列出)包括                Pagepool、workerThreads、prefetchPct、maxFilesToCache、maxblocksize 和 maxMBpS。这些可调优参数为                SAS Mixed Analytics 工作负载提供了最重大的性能提升。一般而言,针对 SAS 工作负载的最重要 Spectrum Scale                可调优参数是 Pagepool。与初始环境测试中的其他 Spectrum Scale 可调优参数相比,增加客户端节点上的                Pagepool 提供了最大的性能改善。根据其他环境中的后续相关 ESS GL4 测试,我们预计,如果客户端节点上的 Pagepool 从 32                GB 增长到 64 GB,与本文中报告的数字相比,性能将提高 5% 到 10%。
因此,以下突出显示的参数被视为最重要的可调优参数,应该首先考虑更改它们。请注意,对于 ESS,在 ESS 安装过程中已更改了许多默认配置值。ESS                经过了高度优化,对于我们的测试,所需的调优更改极少。例如,ESS 节点的 Pagepool 的最大默认大小为 72 GB。,了解 Spectrum Scale 配置可调优参数的完整列表。
运行 AIX 的客户端节点:
ESS/Linux 节点:
备注:在 ESS 安装过程中,已通过 Spectrum Scale 性能脚本设置了许多非默认参数。
结束语IBM 和 Mellanox 通过针对 SAS 工作负载的 JBOD                近线磁盘存储解决方案,实现了一个有效且相对经济的以太网,该解决方案的性能与更昂贵的中间层光纤通道连接闪存相当。使用 AIX(位于基于 IBM                POWER8 处理器的服务器上)作为 SAS 客户端,凸显出了其作为这个成功 POC 强大工作引擎的优势。只有 Mellanox                才能提供的以太网高速存储网络是实现 ESS 完整 I/O 吞吐量的关键,它还提供了运行 40GbE 结构的能力,而且除了以 56GbE                速度运行的交换机的解决方案配置和以 56GbE 速度运行的 40GbE 适配器的自动配置(在 IBM 产品组合中使用 56GbE                电缆实现)之外,没有任何额外费用。
从这个 SAS Mixed Analytics 工作负载概念证明收集的性能指标表明,该解决方案在 SAS 应用程序中发挥了 IBM Elastic                Storage Server、Mellanox 网络和 Power E880                的全部潜力。跨学科团队通过结合使用团队服务器、网络、存储和应用程序专家经验,对系统的所有部分进行交互式调优和优化,获得了卓越的性能。除了业界领先的硬件和软件之外,这是这个                POC 获得成功的关键。




欢迎光临 电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/) Powered by Discuz! 7.0.0