■手羽先氏（国産LLMの人）がはばたけますように

少し前に国産LLM開発着手について - GPUで戦うな | チキンズブログ！という記事が注目を集めました。賛否両論が集まりましたが、個人的には、その後の対応も含め、このままではよくないなと思っています。

もっとも大きな問題は、手羽先氏が指摘に対して真剣に対応していないことです。例えば、誤差逆伝搬法を用いないニューラルネットワークの学習方法についてはかなりの量の既存研究が存在することを指摘されても、それらの文献の調査を行っておられません。調査を行わないことには、自分が考えた手法に新規性があるのかわかるわけもなく、価値あるアイデアなのかどうか、自分自身を含めて誰にもわからないでしょう。英語が読めないとか、そんな言い訳は通用しません。既存手法の調査はスタートラインに立つために最も重要な仕事です。

指摘1: https://x.com/faster_almighty/status/1961694382555549949

指摘2: https://x.com/NASNETou/status/1961687423362240938

他にもまずいなと思うところがあります。 国産LLM開発着手について - GPUで戦うな | チキンズブログ！ には文意がよくわからないところ、どう考えてもおかしいところが多すぎます。以下、具体的に指摘を入れておきます。

• 「完成したらOSSなり特許なり論文なり、完全ブラックボックスだが国益になるようなことにもっていけたらなと」とありますが、OSSとブラックボックスは両立しません。特許も、その精神からすると、ブラックブックスとは真逆の仕組みです。
• 「海外の天才たちが数千億かけて作ってるのに日本の少数部隊で挑むので進捗は数年になるかわからないが）」とありますが、「進捗は数年になるか」の部分の文意がわかりません。
• 「既存の10~1000分の1にハードから電気コストなどを削減できる可能性（理論値測ってないが、モデルの構造上そうなる）」とありますが、そもそも、なにがどれくらい電力を消費しているのか理解しているように見えません。

- それと、理論値は測るものではなく計算するものです。

• そのちょっと上の方には「そもそもまだモデルすら完成してないので理論値も何も計算しようがない」とありますが、「10~1000分の1にコストを削減できる可能性がある」といった非常に強い主張を述べるのであれば、それなりの根拠が必要です。
• 「モデルの仕組み上、多分既存のGPUに比べて尤度を取りにくい」とはどういう意味ですか？ 「尤度を取りにくい」の意味がわかりません。
• 「微分可能回路」とはなんですか？ 微分が可能かどうか議論する対象は何らかの関数であり、回路ではありません。
• 「ニューロンをシリコンに優しく実装すべきで、シリコンに優しくニューロンを実装してしまっている＝GPUを使っている状態がダメ」とありますが、両方とも「シリコンに優しくニューロンを実装」と書いてあり、主張したいことがわかりません。
• 「国益につながるものなので、日本から出資していただきたい」とありますが、この文書で「出資していただきたい」と主張するのはかなりの人の神経を逆なでしています。雑語りをするのは自由ですし、「日本から出資していただきたい」と書くのも自由ですが、雑語りで出資が欲しいと書くのは失礼ですし、得策ではありません。

いくつか指摘を書きましたが、この文章は、細かい指摘を受け取って欲しいというよりは、問題が多い状態であるということを伝えたくて書きました。注目を集めたこの機に、誰かよいメンターを見つけてくれると一番いいなと思います。手羽先氏がはばたけるように祈っています。

Permalink | 記事への反応(1) | 18:13

ツイートシェア