Pinned
meta翻訳についてQiitaで記事にしてみました。
個人開発で高精度な機械学習サービスをリリースすることについて主に書いています。
goto
goto
2,798 posts
goto
@goto_yuta_
LLMと共に人生を模索してる最中です。
大喜利/隠れYoutuber/京大情報卒
Youtube
goto’s posts
三島由紀夫が中学の卒業式に登壇して「大人をカッコ悪いと思ってるだろうが、それは君達が見てる大人がカッコ悪いだけで社会にはカッコいい大人がいっぱいいる。大人を舐めるな」って演説して堂々と暗に中学教師を揶揄した話、尖りすぎてて好き
デジタル庁が公開してる「ChatGPTを業務に組み込むためのハンズオン」、読んでみたけど、論文が引用されてたりしてて無知の公務員が書いたものではなく、専門の人が一般人に分かるように書いた分かりやすい資料という感じだった...！！
マイクロソフトが発表したBitNet、やばすぎて半信半疑ながらも真実ながら凄すぎて期待してしまう。
行列の中身を1ビット(0 or 1のみ)にして、行列演算に乗算が必要なくなって高速化させてるらしい。
高速化する理屈はわかるけど、論文によるとなぜか精度も向上してるらしい。
やばすぎて一旦様子見。
Googleが深層学習のノウハウを公開して話題だけど、実際読んで想像以上に価値を感じた。
例えば「バッチサイズはバリデーションセットでの性能に影響
せず、むしろバッチサイズを下げてサンプルがばらついて正則化の効果を持ったりする」みたいの詳細知識が満載だった...
このサイト、自分の声の発話モデルが無料ですぐ作れてしまう。
日本で同じことを有料でやってる会社知ってるけど、AI業界はどんどん色んなことが無料で出来てしまう焼け野原になっていくのか！？
beta.elevenlabs.io/speech-synthes
Metaが公開した巨大言語モデルであるLLaMAベースのモデルをChatGPTと同じRLHFでより効率的に学習できる「ChatLLaMA」のが早くもgithubで公開されてる...！！(しかも超簡単)
性能はさておき、誰でも簡単に自分だけのChatGPTを作れる！！
github.com/nebuly-ai/nebu
昨日発表された世界最高レベルの高精度日本語音声認識モデル、ReazonSpeechのデモサイトで、コッテコテの方言話してみたけど完璧な解答が来た...！！
ワンセグ放送の録画データを学習に使用してるらしいけど、ワンセグなんかガラケー時代以来初めて聞いた。
research.reazon.jp/projects/Reazo
2023年最も学ぶべき領域と言われているプロンプトエンジニアリングのまとめがGithubにあった。
普段ノリで入れてるプロンプトを体系立てて難易度別に学べるようになってて中々の神資料な気がする。
github.com/dair-ai/Prompt
Metaが巨大言語モデルLLaMAをオープンソースで公開したらしく、Githubを見に行ってみると実行まで簡単すぎてビビった。
ありがたいwww
github.com/facebookresear
どうやら自分の声を10秒くらい録音するだけで複製できるやばい時代が来てしまったらしい。
家で試そう。
AI様の学習能力ヤバすぎてビッグデータ食い尽くすとか言われ始めてるの流石に予想斜め上
Quote
bioshok（INFJ）
@bioshok3
arxiv.org/abs/2211.04325
言語や画像データが世界中でどれくらいあり、いつ使い果たすのかを調査した論文。
現状、言語は7.4*10^14(words:成長率7.15%、2040枯渇)、高品質に限定すると9*10^12words（2024年枯渇）
画像は4.36*10^12(images:成長率8.4%、2038年枯渇)
過去トレンドと計算機制約補正で推定
自分が学生の頃のAIの研究はブルーオーシャンで夢に溢れていたけど、最近はStable DiffusionとかChatGPTとか、勝てるわけがないのが自明すぎて夢がなさそう
GAFA、openAI、MSとかが凄まじいAI開発戦争を繰り広げる中、NVIDIAがひたすらに裏方でチャリンチャリン儲けている構図、羨ましすぎるが、NVIDIAの事業ってそんなに真似できないものなのだろうか...
AI業界で「札束で殴る」ってフレーズ、少し前は自分も勇気を振り絞ってお金出して8GPUとかで学習したりしてたけど、最近はGoogleが300億投資とか言い始めてて完全な他人事になった
Microsoftが10億トークン処理できるLongNetを発表。
何がやばいって、10億トークンなら人間の記憶以上のトークンを処理してるんじゃね？って感じで、ChatGPTよりも更に人間みたいなAI出来てしまう気がする。
コア技術の「dilated attention」の計算量がO(N)で上手くいくのもすごい。
Githubに実装も公開されてて、アーキテクチャ図もあるけど、Transformerの部品にBitってつけてビット加算にしてるだけでやってることはまじで同じそう。
なんで精度上がるんや...
Quote
goto
@goto_yuta_
マイクロソフトが発表したBitNet、やばすぎて半信半疑ながらも真実ながら凄すぎて期待してしまう。
行列の中身を1ビット(0 or 1のみ)にして、行列演算に乗算が必要なくなって高速化させてるらしい。
高速化する理屈はわかるけど、論文によるとなぜか精度も向上してるらしい。
やばすぎて一旦様子見。
京大の情報学科でのプログラミング系の課題のラスボスは、コンパイラを書くことだった。
とにかく作業量がえぐく、いつか役立つと思ってたけど、未だにその知識が役立ったことはない。
東大京大界隈のプライド高めで、自分の現状に満足してなさそうな人に新しく起業した後輩の話とかすると、素直に褒めれない人が大半で「市場規模は？競合多くない？」みたいに死ぬほど粗探ししてくれるから、もはやVCに壁打ちしてもらうより手っ取り早いんじゃねと感じる
このツイート神すぎる
・まず人気ゲームの中身が見れるだけで神
・プログラミング初心者でもなんとなく書けそうに思える雰囲気作りが神
・なんとなく自分が今読んだだけで分かる可読性が神
全部神
Quote
伊東 豊（セガ・龍が如くスタジオ技術責任者）
@YutakaIto_RGG
Replying to @YutakaIto_RGG
ちなみに、龍が如くは「C++」という「プログラム言語」で書かれているのですが、ここで実際に龍が如く8で使われているプログラムをほんの少しお見せします
意外とシンプルなので、C++の基礎をしっかりと学んでいれば十分龍チームで働くことができると思います。就活生の皆さん、お待ちしています
意外とシンプルなので、C++の基礎をしっかりと学んでいれば十分龍チームで働くことができると思います。就活生の皆さん、お待ちしています
NVIDIAが姿勢推定でブレークスルーを起こした理由を簡潔にまとめてる記事。
既存の技術だと物理法則を無視した推定結果が多かったことを踏まえて損失に物理制約を盛り込んで定式化して精度を跳ね上げたらしい。
medium.com/aiguys/pose-es
少し前までローカルLLMの性能は実用面で話にならなかったけど、いよいよ閾値を超えた感じがする今、９ヶ月差くらいで最先端モデルの性能がローカルLLMで実現されてるらしいし、何なら、差は縮まっているように見える...
日本のセキュリティ気にしすぎな企業には朗報か笑
Googleの実用的すぎる神論文。
言語モデルの学習を効率化する為に、学習データから似たものを排除する手法を提案し、少ない学習ステップで同等以上の精度のモデルを学習できることを示した論文。
arxiv.org/pdf/2107.06499
ソースコードも公開されている:
初心者向けでPythonについて発信してる人がanacondaを勧めてるのを見かけることが多いけど、まじでやめてあげて欲しいし、発信者のレベルにもかなり疑念を抱かざるを得ない
OpenAI o1、凄いことには変わりないけど、数オリの問題解けて東大の数学ミスってるって人間じゃ基本ない話なんよな...
学習データに数オリの問題が含まれてて東大の問題が含まれてないって話は想像付くし、そういうことなんかなとは思う