![](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="48" height="48"><rect fill-opacity="0"/></svg>)
“権利的にクリーン”なAIのためにサブスクを払うのが当たり前みたいになるのは最悪な流れですよ。著作権法上では現行のAIはほとんど認められているわけだから。利用者側が勝手に理由づけしているに過ぎない。
ツイート
新しいツイートを表示
会話
返信をさらに表示
もっと見つける
Twitterから
![画像](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="679" height="402"><rect fill-opacity="0"/></svg>)
このスレッドを表示
PagedAttentionというアルゴリズムがTransformerモデルを~24倍高速化。仮想メモリとページングの考え方に基づいて、文脈中のkeyとvalueのペアをブロックに分割・管理することで、GPUをほぼ100%利用できる
“エンジニアリング”だ
![画像](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="679" height="382"><rect fill-opacity="0"/></svg>)
引用ツイート
![](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="24" height="24"><rect fill-opacity="0"/></svg>)
Zhuohan Li
@zhuohan123
Thrilled to introduce vLLM with @woosuk_k!
vLLM is an open-source LLM inference and serving library that accelerates HuggingFace Transformers by 24x and powers @lmsysorg Vicuna and Chatbot Arena.
Github: github.com/vllm-project/v
Blog: vllm.aiこのスレッドを表示
このスレッドを表示
GPT-4に関する特大のリーク情報
MetaのPyTorchの開発リーダーも認めている&似た話が一部で共有されていた,ということで結構確度は高いです
曰く，
"GPT-4は220Bパラメータのモデル８つ（2200億x8 = 1.76兆パラメータ）からなる混合モデルで,各モデルは別のデータ/タスクで学習している"
とのこと…さらに表示
引用ツイート
Soumith Chintala
@soumithchintala
i might have heard the same 
-- I guess info like this is passed around but no one wants to say it out loud.
GPT-4: 8 x 220B experts trained with different data/task distributions and 16-iter inference.
Glad that Geohot said it out loud.
Though, at this point, GPT-4 is… twitter.com/pommedeterre33… さらに表示
-- I guess info like this is passed around but no one wants to say it out loud.
GPT-4: 8 x 220B experts trained with different data/task distributions and 16-iter inference.
Glad that Geohot said it out loud.
Though, at this point, GPT-4 is… twitter.com/pommedeterre33… さらに表示このスレッドを表示