body { -ms-overflow-style: scrollbar; overflow-y: scroll; overscroll-behavior-y: none; } .errorContainer { background-color: #FFF; color: #0F1419; max-width: 600px; margin: 0 auto; padding: 10%; font-family: Helvetica, sans-serif; font-size: 16px; } .errorButton { margin: 3em 0; } .errorButton a { background: #1DA1F2; border-radius: 2.5em; color: white; padding: 1em 2em; text-decoration: none; } .errorButton a:hover, .errorButton a:focus { background: rgb(26, 145, 218); } .errorFooter { color: #657786; font-size: 80%; line-height: 1.5; padding: 1em 0; } .errorFooter a, .errorFooter a:visited { color: #657786; text-decoration: none; padding-right: 1em; } .errorFooter a:hover, .errorFooter a:active { text-decoration: underline; } #placeholder, #react-root { display: none !important; } body { background-color: #FFF !important; }

JavaScriptを使用できません。

このブラウザではJavaScriptが無効になっています。引き続きtwitter.comを利用するため、JavaScriptを有効にするか、サポートされているブラウザに切り替えてください。サポートされているブラウザのリストについては、ヘルプセンターをご覧ください。

ヘルプセンター

利用規約プライバシーポリシー Cookieのポリシー Imprint 広告情報 © 2023 Twitter, Inc.

「いま」起きていることを見つけよう

Twitterなら、「いま」起きていることをいち早くチェックできます。

アカウント作成

Kyo

2,106 件のツイート

新しいツイートを表示

プロフィール画像を開きます

フォロー

Kyo

@kyo_takano

AI Researcher / Prompt Engineer. Specializing in combinatorial search and language models. Inventor of the state-of-the-art Rubik's Cube AI. ちいかわ原理主義

2017年5月からTwitterを利用しています

0 フォロー中

162 フォロワー

Kyoさんのツイート

固定されたツイート

2022年11月17日

Self-Supervision is All You Need for Solving Rubik's Cube Paper: arxiv.org/abs/2106.03157 Repo: github.com/kyo-takano/Eff Demo: replicate.com/kyo-takano/Eff

10

23

このスレッドを表示

ここ最近のAI関連のニュースやら何やらで狼狽えてる人沢山いるみたいだけど、個人的には特に何も感じないんだよね。ストレスも受けてないし。あんまり興味がないのかもしれん

プロ驚き屋が明らかに論文の1ページ目すら読めてないのに「うおおおお！」とか言ってんのは本当に意味不明なんだよな　一体どういうことなんだよ

1

ｵﾌﾟﾈｱｰｲ

草

引用ツイート

Alicia Tatone

@AliciaTatone

3月28日

Big brain business name

wondering how long till the next breakthrough in ai

1

1

Transformer言語モデルのスケーリング則について話す時にChinchilla論文(2022, DeepMind) じゃなくてScaling laws論文(2020, OpenAI)引用する人ばかりなのなんで??

OpenAIのビルってこんな感じなんですね思ったよりカジュアルだな

3

じゃあよォ〜〜〜！プロンプトバトルしようぜ！プロンプトバトル！それに続くGold labelのlogprob/累積確率が大きい方が勝ちな〜〜〜！

1

引用ツイート

William Falcon

@_willfalcon

15時間

I know this is fake because now that @Microsoft is in the mix, GPT numbers will be: - GPT-3 - GPT-4 - GPT-XP - GPT-2000 - GPT-7 - GPT-9 - GPT-10

このスレッドを表示

松尾研の人、堂々と英語圏のツイートパクってて草ダメですよ

2

このスレッドを表示

よくわからんテンプレート作る/使うことをプロンプトエンジニアリングとは呼びませんからね。プロンプトはモデル出力に対する事前条件であり、プロンプトエンジニアリングはその品質を高めるプロンプトを推定する行為を指します。特定の目的に合わせたゴールシークみたいなやつは単なる「利用」です。

3

意味不明なプロンプトテンプレートに踊らされてる人たち、言語モデルの概要を把握して自由にやったほうがいい。その方が楽だろうし多様性も生まれるので

2

6

このCerebras-GPTの件は、論文ちゃんと読んで検算せずにナイーブな割り算に頼ったCerebrasも悪いと思うけど、厳密に推定式に従ったパラメータ数・トークン数を使用しなかったこと・より精密なパラメータ値（α,… さらに表示

引用ツイート

Kyo

@kyo_takano

23時間

日本語訳も用意した Cerebras-GPTがなぜ微妙なのか: Chinchillaスケーリング則に従ってないし訓練不足 nice-face-06b.notion.site/Cerebras-GPT-C

2

「生成系AI」とは言いますが、“生成”よりも還元的に情報を分析するほうが実用上の性能は安定するので、この姿勢が正しいと思います生成が役に立つのは特に出力が無難なもので良いときや出力に影響する不確定要素が少ない時（e.g., メール文作成）

引用ツイート

Shodai

@shodaiiiiii

3月28日

思考の癖的にプロンプトで新しい何かを生み出すというよりビジネスフレームワークに当てはめて情報を洗い出したり、体系的にまとめたりするChatGPTの使い方がしっくりきてる。結局は思考のアシスト機能なわけでその人の思考の癖にあった使い方を見つけるのが大切なんですよね。

3

教養がものを言う時代になったな

大学教授とかが言ってることでも（ハァ？）って思うことたまにあるので、俺のほうが色々間違ってる可能性ある

1

1

ChatGPTで外国語学習

みたいなの見かけるけどこれもやめたほうがいい。GPT, 普通に翻訳とか間違えるから

3

やっぱりリテラシーない人はCerebras-GPTに釣られてるな

そういえばtop-k samplingって聞かなくなったな。あれsoftmaxしなくていいから速くて良かったのになんでだろう

単純に性能が低いので、意図的に過学習させることで単一目的での分析に特化したり、特定のプロンプトから大量の文章をサンプルしたり...

このスレッドを表示

言語モデルはGPT-2の時代から使ってるんだけど、やっぱり当初は「文章のスタイルや傾向を真似ているだけ」くらいの認識だったし、それを前提に応用していたので、ここまで高い推論能力を獲得するとは思わなかったな

1

1

1

このスレッドを表示

Why are all ML folks feeding someone spaghetti

日本語訳も用意した Cerebras-GPTがなぜ微妙なのか: Chinchillaスケーリング則に従ってないし訓練不足 nice-face-06b.notion.site/Cerebras-GPT-C

引用ツイート

Kyo

@kyo_takano

23時間

"Cerebras-GPT is Not Following the Chinchilla Scaling Law" Just a quick note on how Cerebras-GPT is fundamentally different from Chinchilla and why it seems worse than Pythia. nice-face-06b.notion.site/Cerebras-GPT-i

3

5

"Cerebras-GPT is Not Following the Chinchilla Scaling Law" Just a quick note on how Cerebras-GPT is fundamentally different from Chinchilla and why it seems worse than Pythia.

nice-face-06b.notion.site

Cerebras-GPT is Not Following the Chinchilla Scaling Law

I discuss the following points in this article.

2

4

あとそもそもN_optの推定式がalpha & betaにめちゃくちゃ敏感なので、報告されてる有効数字が少なすぎる。

1

このスレッドを表示

p. 25にあるようにalpha=0.34, beta= 0.28, A=406.4, B=410.7でN_optを計算すると、計算量予算C=5.76e23とした時の計算が実際の67 billion parametersに合わないので、おそらくいくつかの恣意的なモデル候補のうち「N>N_opt｣かつ最も近いものを選択して訓練してる。これは良くないね。

1

2

このスレッドを表示

あー、論文精読して実装もして理解した気になってたChinchilla、読み直して気付いたけどコイツundertrainedだわ。LLaMAのほうがcompute-optimalに近い可能性がある

1

5

このスレッドを表示

Cerebras-GPTとか言うやつ、公式情報読むだけでもわかるけど、シンプルに使い物にならないんで忘れたほうがいいですよ。

4

そうなんですよ、プロ驚き屋は沢山フォローワーいてもちゃんとした専門家にほとんどフォローされてない。こんなにわかりやすい指標はないよな

5

重み初期化と最適化アルゴリズムの組み合わせ、ルービックキューブの自己教師有り学習をベンチマークとして（ハイパーパラメータ探索した上で）検証したらこんな感じになった - ZerO init→Adam optimizerが最善 - 次点でRandom (Kaiming) init→Lion optimizer. -… さらに表示

正確でわかりやすい情報提供に特化したbot作ろうかな.

4

セグメントとしてはブルーオーシャンと言ってもいいと思うんだけど、訴求性でプロ驚き屋や適当なこと言い士に勝ちようがないので難しい。奴らが改心して引用するソースぐらい読んでくれるようになってくれるのがありがたいんだけどな

1

2

このスレッドを表示

素人としてAI関連の情報を収集する時、驚き屋じゃなければ誰をフォローすればいいのか？と聞かれてもピンと来ないな。正しいアカウントは専門的な傾向にあるし、平易なのは扇情的で不正確な情報垂れ流してるだけだからな

1

1

7

このスレッドを表示

プログラミングの基本的な考え方や、使う言語における仕様については知っておかないと、瞬時に生成される複雑なコードに狼狽えるだけで終わってしまうと思うので、これにはあまり賛成できませんね。チュートリアルは今後も必要だと思います

引用ツイート

V

@voluntas

3月28日

今、プログラマーになりたい学生がやるなら月 $10 払って GitHub Copilot を入れていろいろなアプリを書くことだと思う。

2

4

これ何を最適化してるのか全然わかんないんですけど、両替による軽量化のことを言ってますか？？（わかる人いたら教えてください）

引用ツイート

えもりえも

@emofairystar1

3月28日

京大卒だけど、いつもセルフレジでお釣りの計算を放棄し、小銭投入口に全小銭をぶち込むことを「最適化」と呼び楽しんでいる。

このスレッドを表示

1

1

Twitterを使ってみよう

今すぐ登録して、タイムラインをカスタマイズしましょう。

Appleのアカウントで登録

アカウントを作成

アカウントを登録することにより、利用規約とプライバシーポリシー（Cookieの使用を含む）に同意したとみなされます。

トレンド

いまどうしてる？

音楽 · トレンド

aiko大丈夫

トレンドトピック: ミルモ舞台化、ハエの形態模写

日本のトレンド

順位変動

音楽 · トレンド

重大発表

トレンドトピック: #トニセンのおいしくロスめし食堂

日本のトレンド

ギュビン

11,687件のツイート

日本のトレンド

ミルモでポン

16,255件のツイート

さらに表示