性能テスト計画ガイド

このトピックでは、何を持って性能通りの性能が出ていると評価するのか検討します。性能要件にて測定指標やその目標値は定義されていますが、性能テストの実施時にどうやって測定指標を測定するのか、どうやって目標値に収まっていることを評価するのかについては性能テスト計画にて検討する必要があります。

以下に性能要件ごとの測定方法の例を示します。実際のプロジェクトでは以下の例を参考に、システムの構成や使用する製品に合わせて確認方法を検討して下さい。また、生データのまま目視で確認することは難しく、確認漏れの原因となるため、評価方法として、測定したデータを可視化して評価することも併せて検討して下さい。

性能要件	測定方法の例
業務量	システムに対して単位時間あたりに送信したリクエスト数で評価する。
ターンアラウンドタイム	クライアントから見てリクエストを送信してからレスポンスを受け取るまでをターンアラウンドタイムとして定義している場合 使用する負荷ツール※から見たターンアラウンドタイムに当たるメトリクスを収集して評価する。 サーバ上での処理時間としてターンアラウンドタイムを定義している場合 ロードバランサにて、処理開始（リクエストを受け取った瞬間）や処理終了（レスポンスを返した瞬間）が分かるようなログを出力するように設定し、実行後のログから処理時間を算出する。算出には自動計算ツールを作成して使用する。
スループット	バッチの実行ログから処理件数と処理時間を取得し、単位時間あたりの処理数を算出する。
データ量	性能テストの実施に当たって投入したデータをエビデンスとして残し、評価する。 性能テスト実施時にDBのテーブルに対してレコード数を確認した結果も合わせてエビデンスに残すことで評価する。
インフラ	サーバリソースを取得するOSコマンドを１分ごとに実行し、その結果からCPU、メモリ、ディスク使用率が性能要件を満たしているかどうか評価する。

※負荷ツールについては『3.2.4. 負荷ツールの選定』をご参照下さい。

また、性能テストでは評価のための情報だけでなく、性能問題が発生した際の解析に使う情報も収集し、確認する必要があります。確認項目と確認観点、測定方法の例を以下に示します。これらが性能テスト実施時に確認出来る状態でないと、性能問題を解決する際に必要な情報が足りなくなってしまうので注意が必要です。

確認項目	確認観点	測定方法の例
CPU処理待ち行列	CPUの処理性能やコア数不足がボトルネックになっていないか	サーバリソースを取得するOSコマンドを１分ごとに実行し、ロードアベレージを取得する。
ページング発生有無	大量のページングが発生していないか	サーバリソースを取得するOSコマンドを１分ごとに実行し、ページインとページアウトの情報を取得する。
ネットワーク帯域使用量	ネットワーク帯域使用量・使用率がボトルネックになっていないか	サーバリソースを取得するOSコマンドを１分ごとに実行し、サーバ側でのネットワーク帯域使用量・使用率を取得する。 ネットワーク機器側で、製品に合わせた方法によりネットワーク帯域使用量・使用率を取得する。
ディスクI/O	ディスクI/Oがボトルネックになっていないか	サーバリソースを取得するOSコマンドを１分ごとに実行し、その結果からディスクI/Oの情報を取得する。
OS	エラーが発生していないか	OSのログにより、エラーの発生有無を確認する。
共有ストレージ	共有ストレージのディスクI/Oがボトルネックになっていないか	製品に合わせた方法でディスクI/Oの情報を取得する。
	ディスク容量が枯渇していないか	製品に合わせた方法でディスク容量を確認する。
ハードウェア共通	エラーが発生していないか	製品の機能によりエラーが検知されていないか確認する。

性能テストで重要となってくるのは、本番の運用時に性能要件通りに性能が出ることです。そのため、本番でかかる負荷を再現するために、実際のユーザの動きを再現するようなシナリオにすることが基本方針となります。

 

本番運用時は一人のユーザから大量にアクセスがくるわけではなく、多数のユーザから同時にアクセスが来ます。この状況を再現するために、テストシナリオでは複数のユーザを用いるように注意が必要です。

また、連携する外部システムを性能テスト実施範囲に含める場合は、外部システムのテスト環境にもテストデータの投入が必要となる場合があります。自システムのテスト環境に投入するテストデータと整合性を保つ必要があるので、外部システムに投入するテストデータの方針も計画時点で検討する必要があります。