「PEZY Computing 齊藤 スパコン詐欺："Implementation and evaluation of data-compression algorithms for irregular-grid iterative methods on the PEZY-SC processor" 批判」

Bushido：ＳＣ１６併設のセッションでのPEZY Computing - ExaScaler 関係の「発表」を、超大規模ニューラル型スパコンの研究開発を本業とする内実ある先端イスラエル・ベンチャー会社のＣＥＯ＆ＣＴＯとして、激務の仕事の息抜きに今読んでいるが、非常に寂しいことであり、現下の状況を憂える。

特許等のＩＰが一切無い、即ち、PEZY-SCx なるＭＰＵについての、中身の話（Functional Block Diagram, Memeory Bus Configuration, MIMD Core Aritectcure、Timing Relation, Instruction Set, 1024Core Data Path Control, Memeory Sharing, I/O Sharing, Overall Data Flow Control)は勿論、ＭＰＵ外のConfiguration & Controls, 回路構成、Memory Interfaceing, SSD Control、I/O系統構成すら、それらの最小限の情報すらも無く、唯単に、PEZY-SCなるＭＰＵを使用したことにより、「いい結果が出た」だの、「良い効果を確認した」だのの「自己賞賛」のオンパレードのヨイショ「発表」（3:50-4:00１０分間）、など、何の意味も無い。

"Implementation and evaluation of data-compression algorithms for irregular-grid iterative methods on the PEZY-SC processor" なる「発表」は、ＩＥＥＥとは言え、筆者も査読委員で査読の厳しいメジャーなジャーナルではなく、胡散臭いＴｏｐ５００のＳＣ１６のオマケＩＡ3での、Proceedings of the Sixth Workshop on Irregular Applications: Architectures and Algorithms, Pages 58-61, Salt Lake City, Utah - November 13 - 18, 2016  に含まれている。ResaercgGate の統計では、引用回数：０、リーディング回数：２。

ここで指摘しておく。ＳＣ１６からはオマケに見えるセッションであったとしても、必ずしも、優劣を意味するのではない。久しく語無沙汰しているが、日本の電子情報通信学会ＩＥＩＣＥでの論文の発表には、①全国大会予稿集（査読無し）、②研究会技報（査読無し）、③論文集（査読あり）の方法がある。一番面白いのは、自由闊達に議論できる①である。思いもよらぬアイディアが披瀝される事も多いからである。ついで体裁を整えた②。最もつまらないのが、実は③である。査読者の注文がいろいろとつくからフィルターで漉された天然水のようなもので、独特の味が失せてしまい、退屈な、「なんだこれ」というものになることが少なくない。だから、上記のＩＡ3　ワークショップでも、実に面白クユニークなものもあって大いに参考になった。勿論、"Implementation and evaluation of data-compression algorithms for irregular-grid iterative methods on the PEZY-SC processor" は除く。


Fugure-1：ＩＡ3 Proceedings of the Sixth Workshop on Irregular Applications: Architectures and Algorithms


１．総括

＜要約＞
Iterative methods on irregular grids have been used widely in all areas of comptational science and engineering for solving partial differential equations with complex geometry. They provide the flexibility to express complex shapes with relatively low computational cost. However, the direction of the evolution of high-performance processors in the last two decades have caused serious degradation of the computational efficiency of iterative methods on irregular grids, because of relatively low memory bandwidth. Data compression can in principle reduce the necessary memory memory bandwidth of iterative methods and thus improve the efficiency. We have implemented several data compression algorithms on the PEZY-SC processor, using the matrix generated for the HPCG benchmark as an example. For the SpMV (Sparse Matrix-Vector multiplication) part of the HPCG benchmark, the best implementation without data compression achieved 11.6Gflops/chip, close to the theoretical limit due to the memory bandwidth. Our implementation with data compression has achieved 32.4Gflops. This is of course rather extreme case, since the grid used in HPCG is geometrically regular and thus its compression efficiency is very high. However, in real applications, it is in many cases possible to make a large part of the grid to have regular geometry, in particular when the resolution is high. Note that we do not need to change the structure of the program, except for the addition of the data compression/decompression subroutines. Thus, we believe the data compression will be very useful way to improve the performance of many applications which rely on the use of irregular grids.

で始まる「論文」では、「PEZY-SC1 の効用」を大いに説くが、肝心要のアルゴリズムに関する新規制の論議は一切無い。論点がずれている。

仮想のベンチマーキングの世界は現実世界からは遠くかけ離れている証左である。自己申告のＴＯＰ５００に意味などは無い。ハードなどはそこそこで十分だ、優れたシミュレーション・モデルの数理（精緻な近傍相互作用のみならず遠隔相互作用をもたらす変動場を理論的に妥当に書く事の方が遥かに難しいものだ。計算時間などゴミだ）と合理的な記述が可能なアプリケーション言語及び充実したファンクショナルライブラリー、そしてコンパイラー等のソフトウエア環境は、ヘボいそれらよりも桁違いに効率的で早く結論が出でる。物事はピースのＦ値で決まるのではなく、トータルで決まるのだ。特定数理モデルで速度だけが要求されるならば、我々は幾らでも早く実行させることが出来る。ＰＥＺＹよりも遥かに速くにだ！


本文の"I. INTRODUCTION"には、初歩的なＢ／Ｆ値による議論がある。
        y=Ax
とお決まりのマトリックス演算を略記し、非ゼロのマトリックスＡ要素に対する浮動小数点演算数は２、データーは倍精度８Ｂ、従ってＢ／Ｆ（ＦｌｏｐであってＦｌｏｐｓではない）＝４であるとし、１９８０年代のベクトル式では４～８となるが、最近のＨＰＣでは、Ｋで０．５、Ｘｅｏｎベースでは０．２、ＳＣ１６のＴｏｐ１０クラスの場合では、Ｚｅｏｎベースで０．０２～０．０３となるとしているが、それは当たり前の事であって、外部メモリとＣＰＵ間のアクセスは、ＣＰＵ内では幾らでも高速化できるが、外部とのＩ／Ｏ動作に関してはそうはならないから当然のことである。また、現実のシミュレーションでは、毎回のメモリー・演算系間のデーター読み出し＆書き込み毎に行なう計算は単純なものではなく、例えば流体力学の場合では、各格子点に対して８Ｂｘ５（Ｒ＆Ｗ）＝８０Ｂに対して１０００以上の演算を行なうから、Ｂ／Ｆ＝０．０８である。よって、何をするか（ソフトで決まる）によって桁が大きく変動することは当たり前のことであるから、Ｂ／Ｆによる議論自体がおかしい。因果関係が逆だ。Ｂ／Ｆはソフトウエア依存の数値であり、１００％ハード的に云々する性質のものではない。

ＭＰＵハード固有の特性と個々のソフトウエアの特性によるものであるから、一律にどうこう言うことではない。マトリックス計算という演算一般論の話ではない。ＺｅｏｎベースでＢ／Ｆ＝０．１であっても、適用ソフトウエア次第により、先の流体力学ではマッチしたシミュレーションが出来る。Ｂ／Ｆのセンスが理解出来ぬ。同発表では、ＨＰＣＧのＳｐＭＶ(Sparse Matrix-Vector Multiplication)と称するマトリックスＡを使って、ベンチマークを行なっているとしているが、実際のImplementationは実際のところ不明だ。

ＭＩＭＤ、ＳＩＭＤも持ち出しているが、本旨の Data Compression/Decompression とは直接関係しない。不必要な言葉は不要だ。

演算に際してデーター配列をＡ上の配列において「圧縮」し、演算・「伸長」する事によってＦｌｏｐｓ値（Ｆｌｏｐ値ではない）を向上させようとするベンチマーク「事例」を示しているが、全７ページの文章中僅かの１ページに満たぬ、Native Englishではない英語説明文が全てであり、はっきり言って何を言いたいのか不明だ。最も肝心な部分がこの程度の説明では極めて不完全である。圧縮・伸長アルゴリズムの詳細説明は不可欠であり、予稿集の８割以上はその議論に費やすのが論文だ。予稿集の殆どを占める中身の無い PEZY-SC の宣伝説明（）など全くもって不要だ。最初の Introduction でＢ／Ｆを、"Byte per Flops" と書いているが、感覚を疑う。Ｂｙｔｅ　ｐｅｒ　Ｆｌｏｐと書くものだ。その逆数が、Operational Intensity　又は Arithmetic Intensityである。また、達成可能な演算性能 [Flop/s]=min(ピーク演算性能[flop/s]、ピークメモリバンド幅[byte/s]×プログラムの演算強度[Flop/byte]（Ｂ／Ｆの逆数）)である。実行ソフトによって著しく変動し、Ｍｉｎ値をとる！


２．圧縮・伸長プロセスを介してのマトリックス計算では、圧縮・伸長のアルゴリズムそのものが重要であり、ＭＰＵの種類などは一(いち)パラメータに過ぎず、無意味である。


３．論文記載の「圧縮・伸長」について（全７ページの論文の６ページ目になって、やっと圧縮・伸長の初等的な事例が、僅かの１ページ分に出てくるのみ）。本来、最も重要な事柄だ。


４．非本質的な「PEZY-SC1」についての言及は最小限にすべきである。単語としては頻繁に出てくる「PEZY-SC1」に関する情報は異常に少なく全く無意味だ。その「PEZY-SC1」の実体が、逆に疑われる。


５．真の計算科学研究者の関心は別にある。日本のコンピューター屋はピント外れだ。農耕民族にはスーパーコンピューターの意味は理解不能であり、ロクなものは作れない。




Bushido (narmuqym, 旅するベテラン, invisible-force, Hetero, MASADA, rainbow, weather_F, anti-globalism, geno_computing, Bushido)
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
　　国際的にビジネスを行ってきたハイテク関係者のグループとして、警鐘を発信する。時事的な問題や長期的観点での警鐘に留まらず、趣味的な事柄まで幅広くメンバーの自由な意思でＷｅｂＬｏｇ掲載することにした。メンバーのプロファイルは以下の通りである。

　　narmuqym：ＨＰ＆ＳＵＮ研究所を経て、米国にハイテクベンチャー設立。最先端ニューラルＭＰＵの研究開発を推進。現在はイスラエルのハイテクベンチャーのチーフサイエンティストに就任。知能の情報処理の根源を研究している。

　　旅するベテラン：東芝中央研究所、半導体事業所にて高密度メモリーのプロセス及びデバイス開発に従事するも、バブル崩壊により全滅の定まった日本の半導体業界を去り、韓国サムソン中央研究所にて、韓国半導体技術を育成指導。現在は台湾の最大手半導体会社にて、高付加価値半導体事業を統括、取締役。

　　invisible-force: ウイスコンシン大学、イスラエル工科大学教授。細胞内量子論的化学物理過程の情報処理、核外化学構造体の情報、ＤＮＡ合成、大腸菌内ＤＮＡ置換、動物細胞内ＤＮＡ置換、神経細胞の情報処理、知能と学習などの研究に従事。イスラエルのバイオハイテクベンチャーＣＥＯ。

　　Hetero：ベル研究所にて化合物半導体物性、超高周波デバイス、マイクロ波集積回路の研究開発に従事し、世界初の衛星放送システムを開発。レイセオンにて巡航ミサイル飛行制御システムの開発、イージズ艦戦闘情報処理＆アタック制御システムの開発に従事後、イスラエルにハイテクベンチャーを設立。情報デバイド解消型の新型情報端末の研究開発に取り組む。

　　MASADA：日電にて衛星通信システム、超多重無線伝送方式、通信路確立制御方式の研究に従事後、米国のＡＴＴに移り携帯電話システムの研究開発、その後次々世代ＭＭ携帯電話方式を完成。シリコンバレーにてハイテクベンチャーを興し、通信大手を圧倒している。

　　rainbow：ウエスチングハウスにて原子力発電の研究開発に従事、その後ＧＥにて新しいエネルギー変換方式の研究、各種発電方式の研究に従事。その後、シリコンバレーにハイテクベンチャーを興し、超低コスト新型太陽電池の研究開発を推進。その後、太陽電池・風力は永遠に採算の取れない環境破壊の元凶であると喝破し、コンパクトな自律原子力発電方式の研究開発に戻る。

　　weather_F：スタンフォード大にて環境気象及び資源の代替化を研究。気象センターにて地球規模大気循環シミュレーション、環境変動の研究に従事した後、ミニマム生活を提唱するＮＰＯを設立し、代表として啓蒙活動に取り組む。

　　anti-globalism：ハーバード大準教授後、日・イ間のハイテクベンチャー協業支援、事業戦略支援会社を日本とイスラエルに設立、妻は日本人。現在はハーバード大ビジネススクール教授。

　　geno_computing:モスクワ大学・分子生物学教授を経てイスラエルに移住。テクニオン教授を経て遺伝子工学のベンチャー設立。ＤＮＡによるコンピューターの研究をメインに新しいセンサーによる次世代シーケンサー及び解析ソフトウェアを開発。

    Bushido:日立中央研究所にてＲＩＳＣプロセッサー及びＤＳＰ、また画像処理システムＬＳＩの研究開発に長年従事し、古い友人の大崎博士には様々に感化を受け、国際的視野に立っての仕事をすべく、日立中研を退社してサムソンに招かれ、現在サムソン電子の終身フェローの立場にあり、イスラエル・ハイファにベンチャーを設立し、自由な立場で異分野も含めて新しい発想にチャレンジ。MASADAとは剣道仲間。５段。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝