あるふ

10.4万 件のツイート
新しいツイートを表示
プロフィール画像を開きます
フォロー
あるふ
@alfredplpl
企業と大学の研究者。AIいらすとやの開発者。デジタル贋作現象の発見者。クリエイターとエンジニアがWin-Winとなる、Clean DiffusionやPicasso Diffusionを開発中。専門はロボット。東大院→NTT研→今。 強化学習若手の会 ()運営係。 ※発言は私見
大阪府alfredplpl.github.io2011年2月からTwitterを利用しています

あるふさんのツイート

『“権利的にクリーン”だからみんな我々のものを使うのが倫理的な選択だ』と倫理を盾にビッグテック企業がAIサブスクで儲ける未来になるのがすげ〜嫌だから、ホビイストたちが企業より質が高いものを無償でばら撒いてるこの流れを支持したいんだよな
114
PagedAttentionというアルゴリズムがTransformerモデルを~24倍高速化。仮想メモリとページングの考え方に基づいて、文脈中のkeyとvalueのペアをブロックに分割・管理することで、GPUをほぼ100%利用できる “エンジニアリング”だ
画像
引用ツイート
Zhuohan Li
@zhuohan123
🌟 Thrilled to introduce vLLM with @woosuk_k! 🚀 vLLM is an open-source LLM inference and serving library that accelerates HuggingFace Transformers by 24x and powers @lmsysorg Vicuna and Chatbot Arena. Github: github.com/vllm-project/v Blog: vllm.ai
このスレッドを表示
1
313
このスレッドを表示
if文がいらないからかなり速くなるやん。知らなかった。(忘れただけかもしれないが。
引用ツイート
数学クライマー(Math Climber)
@mathclimber
地味だけどこれ知っていて得した選手権 入選
画像
8
774
返信先: さん
近年出回ってる一般的な CPU なら、整数でも小数でも素直に max 使った方が速いですね
引用ツイート
百千万億 萬
@TumoiYorozu
abs だと if 文が無いから速い説、別に abs でも愚直だと内部的に if が必要だし、cmov 使えば max でも分岐命令使わないし、 浮動小数なら abs 用の命令は無いけど max 系はあるからどっちみち max を素直に使った方が速い gcc.godbolt.org/z/8qr4zerP4
このスレッドを表示
画像
1
26
返信先: さん
本当ですね。速度はx86の実装が闇鍋化していると聞いたのでわかりませんが、maxで分岐しないなら気にする必要はなさそうですね
返信先: さん
近年出回ってる一般的な CPU なら、整数でも小数でも素直に max 使った方が速いですね
引用ツイート
百千万億 萬
@TumoiYorozu
abs だと if 文が無いから速い説、別に abs でも愚直だと内部的に if が必要だし、cmov 使えば max でも分岐命令使わないし、 浮動小数なら abs 用の命令は無いけど max 系はあるからどっちみち max を素直に使った方が速い gcc.godbolt.org/z/8qr4zerP4
このスレッドを表示
画像
1
26
TLのみなさん、パイプラインが乱れるか否かを相当気にしているということがわかり、意外と多数派な自分であることに安心した
条件分岐使わないから速いっていうツイをみて、それに対して分岐予測あたれば速いという反論もみたけど、まだ、 「これくらいなら条件判定 + 条件つきmov(cmov)でパイプライン乱れないよ」 という反論は見てない気がする。abs命令があるケースでも加算2回、abs一回と乗算1回はそれなりに重いでしょ
引用ツイート
数学クライマー(Math Climber)
@mathclimber
地味だけどこれ知っていて得した選手権 入選
画像
6
155
このスレッドを表示
cmovと分岐のどっちが速いかは分岐予測ヒット率に依存するのでプロファイル取らないとコンパイラにはわからないところから本番
引用ツイート
あるふ
@alfredplpl
maxにifを使わなくてもいいのか!(もちろんライブラリの実装はもっと賢いだろうが)と感心していたら、x86ならcmovでいい。というガチ勢からツッコミに私はx86に詳しくない初心者です。の看板を掲げている人になった
Adobeしかり大資本で殴るビックテックがAIを総取りするのを回避しようと法改正してまでAI開発の広範な認可をしてクリエイターの選択肢を増やそうとしているところを、「倫理的にアウトだから大企業のお墨付きしか認めません」とクリエイターサイドがやり出したら元も子もないわけで
4
411
maxにifを使わなくてもいいのか!(もちろんライブラリの実装はもっと賢いだろうが)と感心していたら、x86ならcmovでいい。というガチ勢からツッコミに私はx86に詳しくない初心者です。の看板を掲げている人になった

Twitterを使ってみよう

今すぐ登録して、タイムラインをカスタマイズしましょう。
Appleのアカウントで登録
アカウントを作成
アカウントを登録することにより、利用規約プライバシーポリシーCookieの使用を含む)に同意したとみなされます。
画像
画像
画像
画像
画像
画像

トレンド

いまどうしてる?

音楽 · トレンド
#庭ラジ
6,665件のツイート
ゲームのジャンル · トレンド
ガンギマリオ
トレンドトピック: マリオ新作ニンダイ
ゲーム · トレンド
郡道先生
7,440件のツイート
テレビ · トレンド
ウマ娘のゲーム
20,273件のツイート
ゲーム · トレンド
FF16
117,695件のツイート