深入研究一种适合 SAS Foundation 混合工作负载的新的软件定义融合基础架构（1）

look_w

本文将介绍测试的用途、目标和结果，包括测试背后的技术细节、测试环境的规格，以及测试方案细节和来自这些测试的性能数据。最后，还会提供调优融合基础架构的指南，以帮助获得最佳性能。
系统架构、配置、调优和文件系统创建图 1 演示了在实验室环境中使用 IBM Elastic Storage Server 和 IBM Power E880 服务器测试 SAS                软件所用的架构和配置。图 2 展示了 ESS 网络配置。
图 1. 针对 IBM Power 服务器和 IBM Elastic Storage Server                    上的 SAS 的解决方案架构点击查看大图
图 2. ESS 网络硬件配置配置本节将介绍该架构的每个组件的详细配置。
软件

• SAS 9.4 TS1M3 64 位
• IBM AIX 7.2 (7200-00-02-1614)
• IBM PowerVM®Enterprise Edition
• Virtual I/O Server (VIOS) 2.2.3.50
• IBM Spectrum Scale™（以前称为 IBM GPFS）4.2.1.1
• IBM ESS V4.5.1
  • Red Hat 7.1
• MLNX-OS 3.3.6.1002

网络配置

• IBM 交换机型号：8831-NF2 (Mellanox SX1710)
• Mellanox ConnectX-3 40GbE 适配器 IBM Feature Code EC3A
• 36 端口 40GbE / 56GbE 交换机
• MLNX-OS V3.6.1002
• 启用 Global Pause Flow Control
• 仅支持 TCP/IP 流量

IBM Power System E880 服务器配置

• 型号：9119-MHE
• 固件版本：IBM FW830.00 (SC830_048)
• 处理器架构：POWER8
• 时钟速率：4356 MHz
• SMT：关闭、2、4、8（SMT4 是默认设置并在基准测试期间使用）
• 核心数：64（62 个核心用于被测试的 LPAR，2 个核心用于 VIOS）
• 内存：512 GB（384 GB 用于被测试的 LPAR，8 GB 用于 VIOS）
• 内部驱动器：12 个 600 GB（用于引导 VIOS 和 LPAR）
• 4 个扩展柜，每个扩展柜的 x16 插槽中都有一个 40GbE 双端口适配器（IBM 特征码为 EC3A）

ESS 配置

• 型号：5146-GL4
• 两个 IBM Power System S822L，用作 I/O 服务器
• 256 GB (16 x 16GB DRAM)
• 一个 IBM Power System S821L 服务器，用作 xCat 管理服务器
• 一个 IBM 7042-CR8 机架安装式硬件管理控制台 (HMC)
• 存储接口：每个 I/O 服务器 3 个 LSI 9206-16e 四端口 6Gbps SAS 适配器 (A3F2)
• I/O 网络：每个 I/O 服务器 3 个双端口 40GbE Mellanox ConnectX-3 适配器 (EC3A)
• 每个 ESS I/O 服务器通过 ALB 连接 3 个 Mellanox 适配器端口
• 独立磁盘冗余阵列 (RAID) 控制器：IBM PCIe IPR SAS Adapter。每个服务器一个 IPR 适配器，每个服务器一个                    RAID 10 OS 引导盘
• 交换机：
  • 一个 1GbE 交换机包含两个 VLAN，提供两个隔离子网作为服务和管理网络。
  • IBM 8831-NF2 – 40GbE 交换机，Mellanox 型号 SX1710
• 4 个 DCS3700 JBOD 60 驱动器机柜（1818-80E，60 个驱动器插槽）
  • 每个驱动器机柜包含 58 个 2 TB 7.2K LN-SAS HDD 和 2 个 400 GB 固态驱动器                            (SSD)
• 16 条 SAS 电缆

创建 ESS Spectrum Scale 文件系统
使用以下 Spectrum Scale 文件系统参数来创建 SASWORK、SASDATA 和 SASUTIL                应用程序存储空间。最初创建了各种不同大小的文件系统块并测试了性能。
一般而言，Spectrum Scale 文件系统块大小可通过将应用程序的块大小乘以 32 进行计算。IBM ESS 使用了 GPFS Native                RAID (GNR)。一种简单解释是，GNR 将文件系统块大小分解为 32 个小块并将它们暂存在磁盘子系统上。
但是，采用 256 KB 的 SAS BUFSIZE 时，在实验室环境中使用各种不同文件系统块大小执行的 SAS 工作负载测试表明，8 MB 或 16                MB 文件系统块大小的性能最佳。
创建并挂载文件系统的样本命令：

# gssgenvdisks --vdisk-suffix _sasdata_8m --create-vdisk --create-filesystem --filesystem-name sasdata_8m --data-vdisk-size 4000 --data-blocksize 8M     # mmmount all Fri Jun  3 19:21:25 CDT 2016: mmmount: Mounting file systems ... # df -h Filesystem       Size  Used Avail Use% Mounted on /dev/sda3        246G  3.0G  244G   2% / devtmpfs          60G     0   60G   0% /dev tmpfs             60G     0   60G   0% /dev/shm tmpfs             60G   95M   60G   1% /run tmpfs             60G     0   60G   0% /sys/fs/cgroup /dev/sda2        497M  156M  341M  32% /boot /dev/sasdata_1m   16T  264M   16T   1% /gpfs/sasdata_1m /dev/saswork_1m   16T  264M   16T   1% /gpfs/saswork_1m /dev/sasutil_1m  7.9T  264M  7.9T   1% /gpfs/sasutil_1m /dev/sasutil_4m  7.9T  288M  7.9T   1% /gpfs/sasutil_4m /dev/saswork_4m   16T  288M   16T   1% /gpfs/saswork_4m /dev/sasdata_4m   16T  288M   16T   1% /gpfs/sasdata_4m /dev/sasdata_8m   16T  320M   16T   1% /gpfs/sasdata_8m /dev/sasutil_8m  7.9T  320M  7.9T   1% /gpfs/sasutil_8m /dev/saswork_8m   16T   16T     0 100% /gpfs/saswork_8m

工作负载、测试方案和结果本节将介绍用于执行测试的工作负载、测试方案和详细结果。
工作负载性能验证期间使用的工作负载是一种 SAS Foundation 混合分析工作负载。该工作负载由一组并发运行的分析作业组成。这些作业对给定 IT                基础架构的计算、内存和 I/O 功能施加压力。
该工作负载由 20 个单独的 SAS 程序测试组成：10 个计算密集型测试，2 个内存密集型测试，8 个 I/O                密集型测试。一些测试使用现有的数据存储来运行，一些测试生成自己的数据，以便在运行测试期间执行。这些测试是短期运行（几分钟）和长期运行（几小时）作业的混合体。这些测试以并发方式和/或顺序方式反复运行，以获得                20-test 的平均并发工作负载或 30-test 的平均并发工作负载。20-test 工作负载总共运行了 71 个作业，30-test                工作负载总共运行了 101 个作业。在峰值负载期间，30-test 工作负载可以采用 55 个处理器，并发生成 I/O 密集型作业。
工作负载的性能指标是工作负载响应时间（以分钟为单位），这是工作负载中所有作业的累积真实响应时间。响应时间越短越好。我们还分析了其他性能指标，比如处理器时间（用户                + 系统时间）、服务器利用率和 I/O 吞吐量。收集这些指标是为了了解启用压缩时对性能的影响。
工作负载响应时间（真实时间）和处理器时间（用户 + 系统时间）是从 SAS 作业的日志文件采集的。这些统计数据通过 SAS FULLSTIMER                选项进行记录。从 IBM POWER7®处理器架构开始，IBM Power Systems™ 使用处理器利用率资源注册表                (PURR) 来准确报告系统使用情况。POWER8 处理器的 PURR 系数需要应用到文中描述的处理器时间指标。要获得 PURR                    系数的更多细节，
测试方案基准测试中运行了以下方案：

• 单节点测试：20-test 混合分析工作负载
• 可扩展性测试：20-test 和 30-test 混合分析工作负载
• 对以 56GbE 速度运行的 Mellanox 结构的测试：30-test 混合分析工作负载

执行该测试时，服务器和存储系统上都没有运行竞争性工作负载。测试团队收集了工作负载、主机端和存储端性能指标，并将基准测试与最终测试中的这些指标进行比较。
测试结果本节将介绍执行这些测试方案的结果。
单节点测试：20-test 混合分析工作负载
用于测试 20-test 混合分析工作负载的逻辑分区 (LPAR) 配置包括：

• 16 个运行 SMT4 的核心（专用模式）
• 96 GB 内存
• 1 个 40GbE 端口
• 适合 Spectrum Scale 文件系统（SASWORK、SASDATA 和 SASUTIL）的 16 MB 块大小

图 3. 单节点上的 20-test 混合分析工作负载的网络 I/O 吞吐量
图 4. 单节点上的 20-test 混合分析工作负载的处理器利用率
图 3 和图 4 展示了 20-test 单节点测试的网络 I/O 吞吐量和处理器利用率。以下是关键结果：

• 真实时间为 1073 分钟，用户 + 系统时间为 793 分钟（应用了 PURR 系数 0.6）。
• 平均和峰值 I/O 吞吐量分别为 2.75 GBps 和 4 GBps。
• 如果考虑采用 16 个核心，I/O 吞吐量约为每核心 175 MBps。
• 在分配给 LPAR 的 16 个核心中，处理器利用率为 60%。