如何进行Web服务的性能测试

贴一篇我们内部的文章：

随着浏览器功能的不断完善，用户量不断的攀升，涉及到web服务的功能在不断的增加，对于我们测试来说，我们不仅要保证服务端功能的正确性，也要验证服务端程序的性能是否符合要求。那么性能测试都要做些什么呢？我们该怎样进行性能测试呢？

性能测试一般会围绕以下这些问题而进行：

1 什么情况下需要做性能测试？

2 什么时候做性能测试？

3 做性能测试需要准备哪些内容？

4 什么样的性能指标是符合要求的？

5 性能测试需要收集的数据有哪些？

6 怎样收集这些数据？

7 如何分析收集到的数据？

8 如何给出性能测试报告？

性能测试的执行过程及要做的事儿主要包含以下内容：

1 测试评估阶段

在这个阶段，我们要评估被测的产品是否要进行性能测试，并且对目前的服务器环境进行粗估，服务的性能是否满足条件。

首先要明确只要涉及到准备上线的服务端产品，就需要进行性能测试。其次如果产品需求中明确提到了性能指标，那也必须要做性能测试。

测试人员在进行性能测试前，需要根据当前的收集到的各种信息，预先做性能的评估，收集的内容主要包括带宽、请求包大小、并发用户数和当前web服务的带宽等

2 测试准备阶段

在这个阶段，我们要了解以下内容：

a 服务器的架构是什么样的，例如：web服务器是什么？是如何配置的？数据库用的是什么？服务用的是什么语言编写的？；

b 服务端功能的内部逻辑实现；

c 服务端与数据库是如何交互的，例如：数据库的表结构是什么样的？服务端功能是怎样操作数据库的？

d 服务端与客户端之间是如何进行交互的，即接口定义；

通过收集以上信息，测试人员整理出服务器端各模块之间的交互图，客户端与服务端之间的交互图以及服务端内部功能逻辑实现的流程图。

e 该服务上线后的用户量预估是多少，如果无法评估出用户量，那么可以通过设计测试执行的场景得出这个值；

f 上线要部署到多少台机器上，每台机器的负载均衡是如何设计的，每台机器的配置什么样的，网络环境是什么样的。

g 了解测试环境与线上环境的不同，例如网络环境、硬件配置等

h 制定测试执行的策略，是需要验证需求中的指标能否达到，还是评估系统的最大处理能力。

i 沟通上线的指标

通过收集以上信息，确定性能测试用例该如何设计，如何设计性能测试用例执行的场景，以及上线指标的评估。

3 测试设计阶段

根据测试人员通过之前整理的交互图和流程图，设计相应的性能测试用例。性能测试用例主要分为预期目标用户测试，用户并发测试，疲劳强度与大数量测试，网络性能测试，服务器性能测试，具体编写的测试用例要更具实际情况进行裁减。

用例编写的步骤大致分为：

a 通过脚本模拟单一用户是如何使用这个web服务的。这里模拟的可以是用户使用web服务的某一个动作或某几个动作，某一个功能或几个功能，也可以是使用web服务的整个过程。

b 根据客户端的实际情况和服务器端的策略，通过将脚本中可变的数据进行参数化，来模拟多个用户的操作。

c 验证参数化后脚本功能的正确性。

d 添加检查点

e 设计脚本执行的策略，如每个功能的执行次数，各个功能的执行顺序等

4 测试执行阶段

根据客户端的产品行为设计web服务的测试执行场景及测试执行的过程，即测试执行期间发生的事儿。通过监控程序收集web服务的性能数据和web服务所在系统的性能数据。

在测试执行过程中，还要不断的关注以下内容：

a web服务的连接速度如何？

b 每秒的点击数如何？

c Web服务能允许多少个用户同时在线？

d 如果超过了这个数量，会出现什么现象？

e Web服务能否处理大量用户对同一个页面的请求？

f 如果web服务崩溃，是否会自动恢复？

g 系统能否同一时间响应大量用户的请求？

h 打压机的系统负载状态。

5 测试分析阶段

将收集到的数据制成图表，查看各指标的性能变化曲线，结合之前确定的上线指标，对各项数据进行分析，已确定是否继续对web服务进行测试，结果是否达到了期望值。

6 测试验证阶段

在开发针对发现的性能问题进行修复后，要再执行性能测试的用例对问题进行验证。这里需要关注的是开发在解决问题的同时可能无意中修改了某些功能，所以在验证性能的同时，也要关注原有功能是否受到了影响。

想看原文或者有测试其他相关的问题可以关注下 搜狗测试 微信公众号，我们上面有不少关于性能测试分享~

作为一名开发者，我们最长听到的就是编程界的三高：

高性能、高并发、高可用。

听起来非常高大上，但是性能到底如何呢？又该如何评定呢？

这次我们谈一谈性能测试，看一看到底什么样才叫做高性能。

本文主要从以下几个方面进行讨论。

（1）性能测试是什么？

（2）为什么需要性能测试？

（3）性能测试如何做？

（4）有哪些性能测试的工具

老马曾经说过，你想理解一件事物，首先必须先定义它。

这里直接引用一下百科中的定义：

性能测试的定义也不难理解，往往定义本身阐述了性能测试的作用。

如果你是一名开发、测试，平时接手过不少需求，可能性能测试接触的也不多。

每一个需求，都有对应的功能性需求和肺功能性需求。

功能性需求是产品需求文档中最直接的，需要实现的功能目标。简称，能用就行。

非功能性需求则要宽泛的多，架构设计是否合理？是否便于后期拓展？是否便于监控？代码实现是否优雅？文档注释是否完整？

就像你写了一只鸟，鸟头做螺旋桨非能飞起来，但是在架构设计上可能是不合理的。

飞起来

一个查询功能，用户点击查询，10S 种才返回数据，功能上是满足的，但是性能上是不能接受的。

线上的交易功能平时各方面都很棒，节假日高峰期直接系统就瘫痪了。

那如何避免这些问题出现在生产上呢？

这就需要上线之前，首先做好对应的性能测试，避免再生产上出现问题，带来严重的生产事故。

性能要高，性能要硬，性能测试，又高又硬！

又高又硬

做一件事情之前，我们首先要确定好自己的目标。

性能测试，到底要测试什么？

有些类似于开发过程中的需求分析，常见的测试指标如下。

响应时间是指某个请求或操作从发出到接收到反馈所消耗的时间，包括应用服务器（客户端）处理时间、网络传输时间以及数据库服务器处理时间。

作为用户而言，在页面点击查询，等待了多久才能获取结果，这个就是响应时间。

用户不关心你后端经过了多少个服务，慢就是原罪。

对于微服务系统，链路监控就显得比较重要。可以帮助我们快速定位到底慢在哪里。

TPS（Transaction Per Second）是指单位时间（每秒）系统处理的事务量。

我看网上还有很多类似的概念：点击量/点击率、吞吐量/吞吐率、PV/UV，这里不做赘述。

个人看来本质上 TPS/QPS 就是去压测你应用的极限，当访问量较大的时候，程序能否活下来？

这里主要涉及到两个概念：高性能和高可用。

我们后面会简单讨论下这两点。

明确了测试指标之后，就需要进行测试的准备。

环境准备：比如你想压测数据库，那就需要准备对应配置的数据库资源。

脚本的准备：数据初始化脚本，调用脚本等。

这个可以类比开发过程中的代码开发。

ps: 性能压测一般不是很常用，所以环境准备流程会比较长，这一点需要注意。

当进行测试之后，测试的结果一定要给出一份报告出来。

是否通过压测要求？

最高的 QPS 是多少？

这样开发可以根据这份报告进行相应的优化。

提升性能的内容写一本书也不为过，这里简单罗列一些最常用的几点：

（1）慢 SQL

一般程序如果响应时间较长，可以首先看一下慢 SQL。

看下是否需要增加索引，或者进行 SQL 优化。

（2）缓存

针对查询，性能提升最显著的就是引入缓存。

当然，引入缓存会使架构变得复杂，这一点要结合自己的实际业务。

（3）硬件升级

如果程序优化的空间比较小，可以考虑升级一下硬件资源。

比如服务器配置翻倍，数据库配置翻倍。

什么？你说公司没钱升级？

没钱升级做什么压测？

这个时候测试报告的作用就显露了，直接用数据说话。

直接说 QPS 达不到生产要求，程序优化的空间很小，推荐硬件升级配置，升级到多少。

做人，要以德服人。

做测试，要用数据说话。

以德服人

测试最常用的工具当属 jmeter。

除此之外，还有一些其他的工具：

LoadRunner、QALoad、SilkPerformer和Rational Performance Tester。

下面对几个工具做下简单介绍

Apache JMeter 可以用于测试静态和动态资源(Web动态应用程序)的性能。

它可以用于模拟服务器、服务器组、网络或对象上的负载，以测试其强度或分析不同负载类型下的总体性能。

将负载测试集成到开发工具中:IDE、jUnit、nUnit、Jenkins、Selenium和Microsoft Visual Studio。

从1255版本开始，您可以运行您的JMeter脚本，并在任何性能测试中集成JMeter和附加的脚本类型。

ps: 这个设计理念就非常好，可以和成熟的工具进行整合。站在巨人的肩膀上。

QALoad是客户/服务器系统、企业资源配置（ERP）和电子商务应用的自动化负载测试工具。

QALoad可以模拟成百上千的用户并发执行关键业务而完成对应用程序的测试，并针对所发现问题对系统性能进行优化，确保应用的成功部署。

ps: 这个工具本人没有接触过。

SilkPerformerV可以让你在使用前，就能够预测企业电子商务环境的行为—不受电子商务应用规模和复杂性影响。

可视化的用户化、负载条件下可视化的内容校验、实时的性能监视和强大的管理报告可以帮助您迅速将问题隔离，这样，通过最小化测试周期、优化性能以及确保可伸缩性，加快了投入市场的时间，并保证了系统的可靠性。

作为 DevOps 方法的一部分，IBM Rational Performance Tester 帮助软件测试团队更早、更频繁地进行测试。

它验证 Web 和服务器应用程序的可扩展性，确定系统性能瓶颈的存在和原因，并减少负载测试。

您的软件测试团队可以快速执行性能测试，分析负载对应用程序的影响。

ps: 这一款工具有 IBM 提供，质量值得信赖。

这么多工具可供使用，相信读到这里的小伙伴已经找到了自己心仪的测试工具。

别急，下面专门为做 java 开发的小伙伴们推荐一款性能测试工具。

男人有男人的浪漫，开发者当然也要有开发者的浪漫。

男人的浪jpg

作为一名开发者，老马平时单元测试使用 junit 最多。

所以一直希望找到一款基于 junit 的性能压测工具，后来也确实找到了。

@JunitPerfConfig 指定测试时的属性配置。(必填项)

使用如下：

@JunitPerfRequire 指定测试时需要达到的要求。(选填项)

使用如下：

对应的测试报告生成方式也是多样的，也允许用户自定义。

基于控台日志：

或者基于 HTML:

junitperf

本文对性能测试做了最基本的介绍，让小伙伴们对性能压测有一个最基本的理解。

测试和开发一样，都是一件费时费力，而且需要认真做才能做好的事情，其中的学问不是一篇就能说清的。

性能测试工具也比较多，本文重点介绍了专门为 java 开发者打造的 junitperf 工具。

下一节我们将从源码角度，讲解一下 junitperf 的实现原理。

我是老马，期待与你的下次重逢。

开源地址：https://githubcom/houbb/junitperf

对于DBA来讲，我们都会做新服务器的性能测试。我会从TPC的基准测试入手，使用HammerDB做整体性能评估（前身是HammerOra），跟厂商数据对比。再使用DiskSpd针对性的测试磁盘IO性能指标（前身是SQLIO），再到SQLIOSIM测试存储的完整性，再到ostress并发压力测试，对于数据库服务器迁移，我们还会收集和回放Profiler Trace，并收集期间关键性能计数器做对比。

下面我着重谈谈使用HammerDB的TPC-C来做SQL Server基准测试。

自己写负载测试代码很困难

为了模拟数据库的负载，你想要有多个应用程序用户和混合数据读写的语句。你不想总是对单一行更新相同的值，或者只是重复插入假的值。

自己动手使用Powershell、C#等语言写负载测试脚本也不是不可能，只是太消耗时间，你需要创建或者恢复数据库，并做对应的测试。

免费而简单的压测SQL Server：使用HammerDB模拟OLTP数据库负载

HammerDB是一个免费、开源的工具，允许你针对SQL Server、Oracle、MySQL和PostgreSQL等运行TPC-C和TPC-H基准测试。你可以使用HammerDB来针对一个数据库生成脚本并导入测试。HammerDB也允许你配置一个测试运行的长度，定义暖机阶段，对于每个运行的虚拟用户的数量。

首先，HammerDB有一个自动化队列，让你将多个运行在不同级别的虚拟用户整合到一个队列--你可以以此获得在什么级别下虚拟用户性能平稳的结果曲线。你也可以用它来模拟用于示范或研究目的的不同负载。

用于SQL Server上的HammerDB的优缺点

HammerDB是一个免费工具，它也极易访问和快速的启动基准测试和模拟负载的方法。它的自动程序特性也是的运行工作负载相当自动。

主要缺点是它有一个学习曲线。用户界面不是很直观，需要花费时间去习惯。再你使用这个工具一段时间之后，将会更加容易。

HammerDB也不是运行每一个基准测试。它不运行TPC-E基准，例如，SQL Server更热衷于当前更具发展的OLTP基准TPC-E。如果你用HammerDB运行一个TPC-C基准，你应该理解它不能直接与供应商提供的TPC-C基准结果相比较。但是，它是免费的、快速的、易用的。

基准测试使用案例

基准测试负载不能精确模拟你的应用程序的特点。每个负载是唯一的，在不同的系统有不同的瓶颈。对于很多使用案例，使用预定义的基准测试仍然是非常有效的,包括以下性能的比较：

多个环境（例如：旧的物理服务器，新的虚拟环境）

使用各种因素的不同及时点（例如：使用共享存储和共享主机资源的虚拟机的性能）

在配置改变前后的点

当然，对一个数据库服务器运行基准测试可以影响其他SQL Server数据库或者相同主机上其他虚拟机的性能，在生产环境你确保有完善的测试计划。

对于自学和研究来说，有预配置的负载非常棒。

开始使用基准测试

你可以从阅读HammerDB官方文档的“SQL Server OLTP Load Testing Guide”开始。