AdamW のような最適化器 (オプティマイザー) がほぼ標準として幅広く使われている深層学習界隈にて、それを超える強力な最適化器が現れました。Google Brain は、自動プログラム探索手法を通じて、AdamW よりも高性能かつ効率の良い最適化器 Lion を発見しています。画像認識・生成、自然言語生成などの幅広い実用タスクにおいて、Adam を超えた性能と最適化の効率を達成した、ということです。本記事では、Google Brain から発表された最適化器自動探索アルゴリズムおよびその結果の Lion の論文を解説します。

深層学習が全盛期となった今でも広く使われている k-means のクラスタリング。もし「エルボー法」を使って最適なクラスタ数を決めているとしたら注意が必要です。最近発表され話題になった本論文では、「k-means にエルボー法を使うのはやめよう」という挑発的なタイトルと共に、その問題点やクラスタ数を決めるためのより良い手法などを包括的に調査しています。本記事では、この論文を解説しながら、エルボー法や k-means の問題点、その改善方法などを見ていきましょう。

機械学習・人工知能の分野では、初心者向けの入門書などは多数ありますが、機械学習の数学や理論などをしっかり学ぼうとすると、「どこから始めたらよいか分からない」という方も多いのではないでしょうか。本記事では、「今年こそ数学・理論の基礎固めをしたい」という方向けに、arXiv で読める無料のリソースの中から、ML数学・理論や、特定のトピックを包括的に学べる教科書、ブックレット、サーベイ論文などを10選まとめました。

ニューラルネットの重みの初期化、デフォルトのままで本当に大丈夫か、あまり考えたことも無いという方も多いのではないでしょうか。最適化器やバッチ正規化などの手法の陰に隠れて地味な存在ですが、場合によっては、訓練の収束の成否やスピードに直結する重要な要素でもあります。本記事では、最近発表され話題になった「ニューラルネットを0と1で決定的に初期化する手法 ZerO」を中心に据えながらも、これまで発表されたメジャーな初期化法を順を追って振り返り解説します。