本文是构建能够每秒处理 3 百万请求的高性能 Web 集群系列文章的第一篇。它记录了我使用负载生成器工具的一些经历,希望它能帮助每一个像我一样不得不使用这些工具的人节省时间。
负载生成器是一些生成用于测试的流量的程序。它们可以向你展示服务器在高负载的情况下的性能,以及让你能够找出服务器可能存在的问题。通过负载测试了解服务器的缺点,是测试服务器弹性以及未雨绸缪的好方法。
负载生成工具(Load-Generating Tools)
在进行负责测试时要牢记一件重要的事:你能在 Linux 上建立多少个 socket 连接。这个限制是硬编码在内核里的,最典型的就是临时 W 端口的限制。(在某种程度上)你可以在 /etc/sysctl.conf 里扩展它。但是基本上,一台 Linux 机器只能同时打开大约 64,000 个 socket 。因此在负载测试时,我们不得不通过在单一的连接上尽可能多地发出请求来充分利用 socket 。 除此之外,我们还需要不止一台的机器来产生负载。否则,负载生成器会把可用的 socket 占用导致不能产生足够的负载。
我一开始用的是‘ab’,Apache Bench 。它是我所知道的 http 基准测试工具中最简单、最通用的。并且它是 Apache 附带的产品,因此它可能已经存在于你的系统中。不幸的是,我在使用它的时候每秒大约只能生成 900 个请求。虽然我见过其他人使用它每秒能达到 2,000 个请求,但我可以立即告诉你,‘ab’并不适合我们的基准测试。
Httperf
接着,我尝试了 ‘httperf’。这个工具更强大,但是它依然相对简单并且功能有限。要算出每秒生产了多少个请求并不是仅传递参数那么简单。经过我的多次尝试,获取了每秒超过几百请求的结果。例如:
它以每秒 1,000 个的速率创建了 100,000 个会话(session)。每次会话发起 5 次请求,时间间隔为 2 秒。
httperf --hog --server=192.168.122.10 --wsess=100000,5,2 --rate 1000 --timeout 5Total: connections 117557 requests 219121 replies 116697 test-duration 111.423 sConnection rate: 1055.0 conn/s (0.9 ms/conn, <=1022 concurrent connections)Connection time [ms]: min 0.3 avg 865.9 max 7912.5 median 459.5 stddev 993.1Connection time [ms]: connect 31.1Connection length [replies/conn]: 1.000Request rate: 1966.6 req/s (0.5 ms/req)Request size [B]: 91.0Reply rate [replies/s]: min 59.4 avg 1060.3 max 1639.7 stddev 475.2 (22 samples)Reply time [ms]: response 56.3 transfer 0.0Reply size [B]: header 267.0 content 18.0 footer 0.0 (total 285.0)Reply status: 1xx=0 2xx=116697 3xx=0 4xx=0 5xx=0CPU time [s]: user 9.68 system 101.72 (user 8.7% system 91.3% total 100.0%)Net I/O: 467.5 KB/s (3.8*10^6 bps)最终,我使用这些设置达到了每秒 6,622 个连接:
httperf --hog --server 192.168.122.10 --num-conn 100000 --ra 20000 --timeout 5(总共创建了 100,000 个连接,并且以每秒 20,000 个连接的固定速率创建)
它还有一些潜在的优势,并且拥有比‘ab‘更多的特性。但它不是我要用在这个项目里的重量级工具。我需要的是能够支持分布式多负载测试节点的工具。因此,我的下一个尝试是:Jmeter。 |