Date: Sat, 10 Jun 2000 17:42:53  JST
From: SHUDO Kazuyuki <shudoh at muraoka.info.waseda.ac.jp>
Subject: [JavaHouse-Brewers:33896] Re: Better BenchMark (was HotSpot
 =?ISO-2022-JP?B?GyRAGyRCJEcbKEI=?=
To: java-house-brewers at java-house.etl.go.jp (JavaHouse Brewers ML)
Message-Id: <200006100842.RAA30175@cafe.muraoka.info.waseda.ac.jp>

首藤です。

多分、ここにメイルを送るのは半年ぶりくらいです。
2年前 (!!) のメイルで、とっても「今さら」ですが、フォローアップします。

> > > > ）、カフェインマークへのベンチマーク対策があるために、
>            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
> これはデマの疑いが濃いです。

お忘れ or 初耳の方のために、まずは簡単に説明させてください。

昔、Java 実行系のためのベンチマークスイートとして
CaffeineMark (以下 CM) というものが有名だったころ、
Sun が出した JIT コンパイラが CM 2.5 に対して
100万とかいう異様に高いスコアを出しました。

  CaffeineMark 3.0
    http://www.pendragon-software.com/pendragon/cm3/

Sun は、けっこう多くの人から
「JIT コンパイラに CM 対策を仕込んだんじゃないの？」
などと疑われました。
この、あらぬ疑いである「CM 対策」が上記の「ベンチマーク対策」です。


CM の開発元自身による
「ベンチマークプログラムの方が良くなかった」
という文章を見つけました。

  Why do some VM's obtain astronomical scores on CaffeineMark 2.5?
    http://www.pendragon-software.com/pendragon/cm3/optimize.html

(「今さら」で恐縮です。)

> 糞なベンチマークというものは、最適化によって、
> 無意味なものになるのものなのです。昔から。

はい。
糞じゃないマイクロベンチマークを作るのは、なかなか工夫が要ります。

SHUDO Kazuyuki/首藤一幸   私をたばねないで あらせいとうの花のように
  shudoh at muraoka.info.waseda.ac.jp