goto@meta翻訳開発者

ChatGPTとGPT-4の概要のまとめ大作論文。 ChatGPTは様々なタスクで最高精度を出しているとか、関連論文の数が急増してることとかに触れていて普通な印象。ただ、論文でも触れられていたけど、エネルギー消費が激しすぎることは世間的にもっと話題提起されていい気がする。 arxiv.org/pdf/2304.01852

123

1.1万

goto@meta翻訳開発者

@goto_yuta_

4月3日

Twitterのレコメンドアルゴリズムで特徴的なのが、influencial users(インフルエンサー？)を中心としたクラスターを形成するって手法。インフルエンサー認定される基準を知りたい。

github.com

GitHub - twitter/the-algorithm: Source code for Twitter's Recommendation Algorithm

Source code for Twitter's Recommendation Algorithm - GitHub - twitter/the-algorithm: Source code for Twitter's Recommendation Algorithm

Elon Muskが「GPT-4を超える大規模言語モデル開発の6ヶ月禁止」って言ってるの、日本人ではありえないエゴすぎて草

やっぱコラらしいです、よかった

GPT-5という信じ難い情報が入って来た。これ、流石にコラ画像・・・？

ChatGPTが出てきて、個人じゃLLMは作れないと思ってたけど甘かった。 RMKVを試せば分かるけど、クソ速い高性能LLMがリリースされたりしてる。

376

seq2seqのアーキテクチャは文対を学習して行くのに対して、LLMはそんなことせずともseq2seq同様の振る舞いも覚えていく。 Scaling Lawの極致に達したことで究極に学習効率が上がった結果、ペアリングが不要になったという解釈で合ってるのか...

このツイートの次の日にgpt-4がマルチモーダルで登場してて冷静に草

引用ツイート

goto@meta翻訳開発者

@goto_yuta_

3月14日

#ChatGPTで自然言語処理は終わるのか　と言われているけど、大体のニューラルネットワークはChatGPTの原型のtransformerに置き換えられていて、同じようなアーキテクチャで処理できてしまうことから、NLPとかCVの境界は明らかに薄くなっていた。だから、終わるとしたらNLPだけではないと思う。

最近、朝起きたら世界が変わっているという現象が頻発している

LLaMaのデータせっかくリークしたわけやし動かしてみるか〜

youtube.com

How to Run LLaMA locally on your Computer - GPT-3 Alternative

Dead simple way to run LLaMA on your computer. - https://cocktailpeanut.github.io/dalai/ LLaMa Model Card - https://github.com/facebookresearch/llama/blob/m...

ChatGPTとかの登場で、既存のイメージを遥かに超えた全自動化の機運が高まっていて、少子化真っ最中の日本としたら凄まじいチャンスなのに、あんまりそういう声を聞かないのはなぜ...？？

ChatGPTのせいで、"自分の仕事って機械にやらせたら良くね？"って思う人が大半らしい。この時代に人が発揮出来る価値って一体...

神保町　覆面智悪魔的あん肝まぜそばあん肝ふんだんに使われすぎて美味すぎた

「Multi-Task Prompt Tuning」というPrompt Tuning手法でパラメーター効率の高い転移学習が可能なるらしい。タスクプロンプトを、共有プロンプト行列とタスク固有行列に分解してから共有行列をターゲットタスクに適合していく流れ。 arxiv.org/abs/2303.02861

時間がなくて読み逃していたEvoPrompting論文を読んだ。内容がやばいのは置いといて、最近プロンプトとGPT系の出力の分析とか多かったけど、久々に論文ぽい読み心地だった。 arxiv.org/abs/2302.14838

NYAVATARの方にアイコンを作っていただいたので変更。 #NYAVATAR

ChatGPT APIが公開されるより前に公開されていたdavinci API、これがまさかopenAI側から「ほぼGPT-4」って言われてるなんて、、、

133

遂にChatGPTのAPI公開！！歴史的瞬間！！

引用ツイート

シェイン・グウ

@shanegJP

3月1日

ChatGPT APIの使用例。SnapChat、InstaCart、Shopifyなどが試してます。もちろん直で日本語・多言語対応です。そしてOpenAIの最大モデルの使用料金の１０分の１で使えます。会話だけでなく、「すべて」に特化したモデルで色々なアプリをお試しください。 #チャトる openai.com/blog/introduci

このスレッドを表示

適当に技術書買うより絶対良い有料でいいよ、これ笑

引用ツイート

龍一郎

@K_Ryuichirou

3月1日

すごい熱量の資料だなあ DiffusionによるText2Imageの系譜と生成画像が動き出すまで speakerdeck.com/nhamanasu/diff

機械翻訳にもGPT！！！機械翻訳の性能を測る指標として長らくBLEUが使われてきましたが、遂にBLEU時代が終わって、GEMBAという何ともダサい名前の指標が使われていきそうです。著者がマイクロソフトなのも何か感じるところがある... arxiv.org/abs/2302.14520

114

OpenAIが「Foundry」っていうOpenAIのモデルを動かすプラットフォームを出すらしく、そのリーク情報。動き早すぎるな〜wwww

引用ツイート

Nathan Labenz

@labenz

2月27日

OpenAI's leaked Foundry pricing says a lot – if you know how to read it – about GPT4, The Great Implementation, a move from Generative to Productive AI, OpenAI's safety & growth strategies, and the future of work. Another AI-obsessive megathread on what to expect in 2023

このスレッドを表示

Metaが公開した巨大言語モデルであるLLaMAベースのモデルをChatGPTと同じRLHFでより効率的に学習できる「ChatLLaMA」のが早くもgithubで公開されてる...！！(しかも超簡単) 性能はさておき、誰でも簡単に自分だけのChatGPTを作れる！！ github.com/nebuly-ai/nebu

449

1,934

19.2万

Twitterを使ってみよう

今すぐ登録して、タイムラインをカスタマイズしましょう。

Appleのアカウントで登録

アカウントを作成

アカウントを登録することにより、利用規約とプライバシーポリシー（Cookieの使用を含む）に同意したとみなされます。

トレンド

いまどうしてる？

野球 · トレンド

連続ホームラン

1,112件のツイート

日本のトレンド

#流星VSクイズ王中間

1,650件のツイート

食べ物 · トレンド

抹茶ドーナツ

1,301件のツイート

日本のトレンド

シベリアンタイガー

日本のトレンド

推し休暇

2,776件のツイート

さらに表示