この2年半くらいで急激にAIが進化して、このままの速度で進化が進むように見えるけど、今までディープニューラルネットや自然言語処理が目立たなかったところに、急に注目されてリソースが投入されて時代が追いついただけな気がする。
H100というハードウェアはChatGPT直前にリリースされていて、どこそこが数万台導入みたいなときにはすでにこなれていた。
GPUを連携させてニューラルネットの学習をさせる技術もだいぶこなれていた。
学習に投入するデータもだいぶあふれていた。
自然言語処理の知見も結構蓄積されてた。
それがチャットができるようになったことで注目されて、H100をフルに使って人材や知見を投入して、学習データを食い尽くしたのが今。
サイズを大きくして性能だしてたのが飽和して、推論時にコンピュータリソースを使う方向になってきてる。
学習データも食い尽くしたので、OpenAIがSNSやるみたいな話も出てきた。
あと、いままでLLMでいろんな会社の名前を聞いていたのが、大手はOpenAIとGoogleとClaudeになって、Claudeも次の新しいモデルでGemini 2.5 Pro以上が出せないと怪しそう。Grok3は個性でやっていく感じになってる。
もうローカルLLMではGemma3とQwen2.5だけになってきてる。Llama4の挽回はあるんだろうか。
もう、規模が大きいだけで出し抜けたり、工夫で規模が大きいところと張り合うことが難しくなって、規模と工夫両方が必要になってきてる。
こういう、プレイヤーが減って少数大手と中小規模ニッチというのは分野が成熟したときに見られるものでもあるし、もうAIはそういうフェーズに見える。
OpenAIが論文を出さないというような話もあって、大事な知見を公開して共有してみんなで進化させていこうというフェーズも先端では終わっているのかもしれない。
ということで、今まで使ってなかった資源を消費して成長速度を出していたので、それを食い潰した今からは、普通の成長速度になるんじゃないだろうか。
老害認定証作ってもらったので、からあげ先生の本を推しておきます。
