問66
頻出度★★★
システム評価の方法であるベンチマークテストに関する記述として, 最も適切なものはどれか。
平成23年度 特別試験 ITパスポート試験 問66
テクノロジ系システム構成要素 › システムの評価指標
この問題の解説と、これまでの解答の記録です。
解説
問 66
不正解ア
これは稼働率 (アベイラビリティ、可用性) の説明である。稼働率は、全体の時間のうちシステムが正常に稼働している時間の割合で表され、MTBF ÷ (MTBF + MTTR) で計算される。記述内容そのものは可用性の定義として正しいが、評価しているのは「止まらずに使えるか」という可用性であって、「どれだけ速く多く処理できるか」という処理能力ではない。標準的なプログラムやデータを実際に実行させて測るという、ベンチマークテストの手続き上の特徴も含まれていないため誤りである。
- イ
正解 正解はイ。ベンチマークテストとは、標準的なプログラム (ベンチマークプログラム) と標準的なデータを用意し、それを評価対象のシステムに実際に実行させて、処理に要した時間やスループットなどを測定することで、システムの処理能力すなわち性能を評価する方法である。イはまさに「システムの処理能力を, 標準的なプログラムやデータを用いて評価する」と述べており、この定義にそのまま一致する。ベンチマークテストの要点は二つある。第一に、机上の理論値やカタログスペックではなく、実際にプログラムを走らせて測る実測型の評価であること。第二に、誰が測っても同じ土俵になるよう、負荷となるプログラムとデータが標準化してあること。標準化されているからこそ、CPU やメモリの構成が異なる機種どうしを同一の尺度で相対比較でき、機器選定 (調達時の性能比較) や、システム変更前後の性能改善の確認に使える。代表的なベンチマークとしては、オンライントランザクション処理の性能を測る TPC 系や、CPU の演算性能を測る SPEC 系などがある。なお、実際の自社業務に固有の負荷特性までは再現しきれないため、ベンチマーク値がそのまま本番環境の性能を保証するわけではない点も、あわせて理解しておきたい。
不正解ウ
これは MTBF (Mean Time Between Failures、平均故障間隔) の説明である。復旧してシステムが動き出してから、次に故障して停止するまでの平均時間を指し、値が大きいほど故障しにくい、すなわち信頼性 (リライアビリティ) が高いことを意味する。定義としては正しい記述だが、評価対象は信頼性であって処理能力ではなく、また実際に標準的な負荷を走らせて性能を測定するベンチマークテストとは方法論そのものが異なるため誤りである。
不正解エ
これは MTTR (Mean Time To Repair、平均修復時間) の説明である。故障で停止してから復旧するまでに要する平均時間を指し、値が小さいほど早く直せる、すなわち保守性 (サービサビリティ) が高いことを意味する。記述は MTTR の定義として正しいが、測っているのは障害からの回復の速さであって、システムが単位時間に処理できる量や速度ではない。ベンチマークプログラムによる性能測定とは無関係なので誤りである。
ここがポイント
- ベンチマークテストの定義 — 標準的なプログラム (ベンチマークプログラム) と標準的なデータを実際に実行させ、所要時間やスループットを測ってシステムの処理能力 (性能) を評価・比較する手法。負荷が標準化されているため異機種間の相対比較ができ、機器選定や性能改善の確認に用いる。代表例は TPC、SPEC など。
- 性能評価と RASIS 指標の区別 — 稼働率は可用性 (MTBF ÷ (MTBF + MTTR))、MTBF は信頼性 (復旧から次の故障までの平均時間)、MTTR は保守性 (停止から復旧までの平均時間) を表す指標であり、処理能力を測るベンチマークテストとは評価軸が異なる。この種の問題は「何を評価しているのか (処理能力か、可用性か、信頼性か、保守性か)」で切り分ける。
用語