騙されるな！スパコン「京」ＨＰＣＧで１位のカラクリ

• おさらい
• 総合性能では世界一？
  • エントリーの少なさ
  • 歴史
  • チューニング
  • 中国勢の不気味さ
  • ベンチマークまとめ
  • コストパフォーマンス
  • Ｇｒａｐｈ５００
  • 補足
• 独自開発プロセッサ

おさらい 

まずは、これまでの経緯のおさらいとして以下のリンク先を見てもらいたい。

• 国費の無駄遣いスパコン「京」を再検証する

総合性能では世界一？ 

京の新しいベンチマークの結果がニュースになった。

理化学研究所と富士通は１６日、産業利用に適したスーパーコンピューターの計算速度を競う国際ランキング「ＨＰＣＧ」で、理研の「京」（神戸市）が初めて世界１位を獲得したと発表した。 大量のデータを処理する性能のランキングでも４期連続で首位を守った。

単純な計算の速度では中国の「神威太湖之光」が１位だった。 これに対しＨＰＣＧは、産業利用など実際にソフトをスパコンで動かす際によく使われる計算処理をどれだけ速くできるかを競う。 理研の担当者は「京の総合性能の高さが改めて実証された」と話している。

スパコン「京」初の世界１位…産業利用の計算処理で - 毎日新聞

後で詳しく検証するが、結果を先に言うと、ＨＰＣＧで１位になったことをもって「京の総合性能の高さが改めて実証された」ではミスリードが酷すぎる。

エントリーの少なさ 

ＨＰＣＧの2016年６月期は、ＴＯＰ５００の１０位までが全てエントリーしているものの、ランキングは８０位までしか発表されていない。 2016年11月期も101位までしか発表されていない。 2016年11月期の９２位はわずか８コア(１チップ)のIntel Xeon E5-2640-V3搭載のドイツのＩＴサービスプロバイダのAquarius(MEGWARE SlideSX-LC)である。 エントリー数は極端に少ないようである。

歴史 

ＨＰＣＧの結果公表は、ＨＰＣＧに至っては、2014年６月期からであり、当時のエントリーはわずか１５台である。 そして、エントリー数の少なさも歴史とは無関係ではない。 これだけ歴史が浅くては、確立した性能指標とは言えないだろう。

チューニング 

新しいベンチマークはノウハウが蓄積されていないだけに、チューニングの度合いが性能を大きく左右する。 では、各スパコンがどれだけチューニングしているのだろうか。

2014年の最初のランキング発表時と比べて、さらに進んだチューニングを行ったことで、602TFLOPS（テラフロップス）という高いベンチマークのスコアを達成しました。

「京」が性能指標(HPCG)で世界第1位を獲得 - 理化学研究所

京はかなり頑張ってチューニングしているようだが、では、他はどうか。

HPCG

ＨＰＣＧでは、比較期間が短いのでハード性能向上は殆ど見られない。 京は殆どコア数が変わっていないにも関わらず、スコアが大きく向上している。 一方、ライバル達は、Pleiadesを除いてスコアに変化がなく、チューニングの形跡が全く見られない。 ちなみに、Pleiadesはコア数の増加でスコアを伸ばしているのであって、チューニングによるものではない。

以上を見ると、新しいベンチマークに対して、京はかなり本気でチューニングしているのに対して、ライバル達は本気を出していないようである。 しかし、ベンチマークを必死にチューニングしても、実使用のプログラムのチューニングをしていなければ、実効性能には反映されない。 逆に、実使用のプログラムのチューニングをしっかりしていれば、ベンチマークを疎かにしても、実効性能は高くなる。 そして、ライバル達が、実使用のプログラムのチューニングに手を抜いているとは考えにくい。 ベンチマークのチューニングが実使用のプログラムのチューニングに無関係とは言わないが、イコールでもない。 よって、現状では、ＨＰＣＧの結果は実効性能とは必ずしも比例していないと推定できる。

ライバル達が新しいベンチマークにあまり力を入れない理由も説明は十分に可能である。

• 納入先に積極的に働きかけるほどの動機が見出しにくい
  • 費用対効果が乏しい
    • 本格的チューニングにかかる手間暇が大きい
    • 確立した指標でなければセールスポイントにはならない
    • そこまで必死にならなくてもちゃんと売れてるし…
  • 納品済の製品のベンチマークに時間をかけることに納入先の理解が得られにくい
    • 製造元は性能を大々的にアピールしたい
    • 納入先は性能アピールに興味はなく、ベンチマークの間の利用停止の方が問題
    • ただし、京の納入先の理研は性能アピールに積極的

ライバル達が手を抜いているランキングで１位になったと自慢するのは、主要選手が流して走っている予選のタイムで１位になったと自慢するようなものだ。 １位になったと自慢するならば、主要選手が本気で走る決勝で１位になってからにすべきだろう。

中国勢の不気味さ 

新しいベンチマークの結果として、重要なことを示唆しているのは、京の結果ではなく、中国スパコンの結果である。

2013年6月期にＴＯＰ５００で首位となった天河二号は、秋葉原で売っているパーツを大量に組み合わせただけで、プロセッサ性能以外の技術がまるでないと揶揄されている。 2016年6月期にＴＯＰ５００で首位となった神威・太湖之光は、演算性能以外の全ての性能を犠牲にした国産プロセッサで作られたために実用性ゼロと揶揄されている。 ところが、それら中国スパコンがＨＰＣＧでは意外に検討しているのである。

2016年6月期のＨＰＣＧでは、２位の京が0.5544PFに対して、天河二号は１位で0.5800PF、神威・太湖之光は３位で0.3712PFである。 実用性ゼロと揶揄された中国スパコンが、最近のスパコンの実効性能に適したとされるベンチマークで好成績となっている。 これは、演算性能以外の全てを犠牲にしても、コア数を極端に増やせば、足りない分は挽回可能であることを示しているのではないか。 であれば、実効性能を第一優先とする場合は、演算性能以外の性能は追求せずに演算性能とコア数のみを追求したほうが良いことになる。 もちろん、これら中国スパコンのスコアが正確であればという条件付きの話ではあるが…

牧野淳一郎氏も2016年6月23日の日誌で中国スパコンの脅威について書いている。

ベンチマークまとめ 

欧米では、割と気楽に参加しているのに対して、日本だけが必死になって参加しているように見える。 例えるなら、無名の大会の予選でほとんどの選手が流して走っている予選において、日本の選手だけが必死に走って１位だと騒いでいるような感じである。 HPCGは、エントリーが少なかったり、チューニングが甘かったり、歴史も浅かったりで、確立された指標とは言い難い。 現時点では、スパコンの性能比較の指標として使うのは、時期尚早であろう。 その辺りを説明しないで結果だけ見て１位だと大騒ぎするのは詐欺に等しい。

コストパフォーマンス 

米国製品が１〜２億ドルで発注されているのに対して、京は開発等に１０００億円以上もかけたスパコンである。 京のスコアは米国製品の２倍にも満たない。 つまり、京はコストパフォーマンスが米国製品より大きく劣る。 実際の使われ方等を考慮すれば、京の１０分の１程度の性能のスパコンを１００台作ったほうがマシであろう。

Ｇｒａｐｈ５００ 

Ｇｒａｐｈ５００で１位となったことが無意味であることも以下のリンク先にまとめた。

• 騙されるな！スパコン「京」Ｇｒａｐｈ５００で１位のカラクリ

補足 

世界のトップ選手が流して走っている予選で１位のタイムを記録したとしたら、それはそれで凄いことである。 並の人間なら、流して走っているだけの世界のトップ選手にすら到底かなわない。 だから、予選で１位であっても、普通の人から見れば、相当に凄いことである。 トップ選手が本気を出していなかったからと言って、その凄さは否定されるものではない。 もちろん、それは世界のトップ選手の仲間入りをしたという意味の「凄い」ではない。

そういう意味であることを説明したうえで１位を讃えるなら、それは悪いことではないだろう。 しかし、その説明をせずに、順位だけ知らせて「総合性能の高さが改めて実証された」では詐欺に近い。

独自開発プロセッサ 

莫大な国家予算を投入しての独自プロセッサ開発が壮大な無駄遣いであったことは以下のリンク先にまとめた。

• 国費の無駄遣いスパコン「京」を再検証する