Standard Performance Evaluation Corporation

SPECとは

Standard Performance Evaluation Corporation、略称SPECは、「標準性能評価法人」とも訳される国際的な非営利団体です。1988年に設立されたこの組織は、コンピューターシステムや関連技術の性能を客観的かつ公平に評価するための標準的なベンチマークテストを開発・提供することを目的に設立されました。その活動は、世界中の主要なコンピューターメーカーやソフトウェア開発企業からの資金援助によって支えられています。SPECが策定したベンチマークは、現在、多くの分野でコンピューター性能の比較や評価に広く用いられており、その測定結果はSPECの公式ウェブサイトを通じて一般に公開されています。

ベンチマークの思想

SPECのベンチマーク開発における重要な思想は、「現実世界の多様なコンピューター利用状況を模倣する」という点にあります。単なる理論的なピーク性能ではなく、実際のアプリケーションの動作に近いシナリオを想定してテストが行われます。例えば、ウェブサーバーの性能を測るSPECwebシリーズでは、様々な種類のHTTPリクエストを並行して大量に処理させることで、実環境における負荷を再現しようと試みます。また、CPU性能を評価するSPEC CPUシリーズでは、GCCコンパイラによるコード生成や、チェスプログラムのような実際のアプリケーションを実行し、その処理時間を測定します。これらのベンチマークでは、個々のタスクの重要度に応じて適切な重み付けがなされ、最終的に単一の総合的なベンチマークスコアとして集約されます。

SPECベンチマークの技術的特徴

技術的な側面では、SPECベンチマークは、プラットフォームに依存しない標準的なプログラミング言語、主にC言語やFORTRANで記述されています。テストを行うユーザーは、自身の利用するコンピュータープラットフォーム上で動作する任意のコンパイラを使用してソースコードをコンパイルできますが、ベンチマークのソースコード自体を変更することは認められていません。これはテストの公平性を保つためです。一方で、コンピューターメーカーは、自社システムの性能を最大限に引き出すために、特定のコンパイラ最適化技術を適用してSPECベンチマークの結果を向上させようと努めていると言われています。

利用ライセンスと課題

SPECのベンチマークを利用するためには、SPECからライセンスを購入する必要があります。ライセンス費用はテストの種類によって異なり、数百ドルから数千ドルの範囲で設定されています。しかし、この有償ライセンスモデルは、SPECベンチマークの一部がGPL（GNU General Public License）によってライセンスされたソフトウェアを含んでいるため、GPLの原則に反するという批判に直面してきました。GPLは、通常、そのライセンス下のソフトウェアを組み込んだ派生成果物を自由に配布できる（ただし同じライセンスで）ことを保証しており、有償ライセンスを課すことがこれに抵触するという指摘です。

主なSPECベンチマーク

SPECは、コンピューターシステムの様々な側面を評価するための幅広いベンチマークを提供しています。現在広く利用されている主なベンチマークには以下のようなものがあります。

SPEC CPU2006: CPU、メモリ、コンパイラの総合性能（整数演算: CINT2006, 浮動小数点演算: CFP2006）
SPECweb2005: Webサーバー性能
SPECviewperf: OpenGL 3Dグラフィックス性能
SPECjvm98, SPECjbb2005, SPECjAppServer2004: Java関連の性能評価
SPEC SFS97_R1: NFSファイルサーバー性能
SPEC MAIL2001: メールサーバー性能

これら以外にも、SPECapc（特定のアプリケーション性能）、SPEC HPC2002（高性能並列コンピューティング）、OpenMPやMPIベースのアプリケーション評価など、多岐にわたるベンチマークが存在します。過去には、SPEC CPU92、CPU95、CPU2000などの旧世代ベンチマークや、SPECweb96、99なども利用されていました。今後も新たなベンチマークが登場予定です。

日本国内におけるSPEC

日本国内においても、過去にはSPECの活動に関わる企業や研究機関がありました（2007年3月現在）。

正式会員: 富士通, 日立製作所, 日本電気
協賛（準）会員: JAIST, 九州大学, 会津大学, 筑波大学

SPECが提供するベンチマークは、コンピューター性能の客観的な指標として非常に有用であり、ハードウェアやソフトウェア開発、製品選定の際の参考情報として広く活用されています。ライセンスモデルに関する議論は存在するものの、その公平性と実用性から、SPECのベンチマークはコンピューティング分野における標準的な評価ツールとしての地位を確立しています。

もう一度検索