Kyo

2,106 件のツイート
新しいツイートを表示
プロフィール画像を開きます
フォロー
Kyo
@kyo_takano
AI Researcher / Prompt Engineer. Specializing in combinatorial search and language models. Inventor of the state-of-the-art Rubik's Cube AI. ちいかわ原理主義
2017年5月からTwitterを利用しています

Kyoさんのツイート

ここ最近のAI関連のニュースやら何やらで狼狽えてる人沢山いるみたいだけど、個人的には特に何も感じないんだよね。ストレスも受けてないし。あんまり興味がないのかもしれん
プロ驚き屋が明らかに論文の1ページ目すら読めてないのに「うおおおお!」とか言ってんのは本当に意味不明なんだよな 一体どういうことなんだよ
Transformer言語モデルのスケーリング則について話す時にChinchilla論文(2022, DeepMind) じゃなくてScaling laws論文(2020, OpenAI)引用する人ばかりなのなんで??
じゃあよォ〜〜〜!プロンプトバトルしようぜ!プロンプトバトル! それに続くGold labelのlogprob/累積確率が大きい方が勝ちな〜〜〜!
よくわからんテンプレート作る/使うことをプロンプトエンジニアリングとは呼びませんからね。プロンプトはモデル出力に対する事前条件であり、プロンプトエンジニアリングはその品質を高めるプロンプトを推定する行為を指します。特定の目的に合わせたゴールシークみたいなやつは単なる「利用」です。
意味不明なプロンプトテンプレートに踊らされてる人たち、言語モデルの概要を把握して自由にやったほうがいい。その方が楽だろうし多様性も生まれるので
6
このCerebras-GPTの件は、論文ちゃんと読んで検算せずにナイーブな割り算に頼ったCerebrasも悪いと思うけど、厳密に推定式に従ったパラメータ数・トークン数を使用しなかったこと・より精密なパラメータ値(α,… さらに表示
引用ツイート
Kyo
@kyo_takano
日本語訳も用意した Cerebras-GPTがなぜ微妙なのか: Chinchillaスケーリング則に従ってないし訓練不足 nice-face-06b.notion.site/Cerebras-GPT-C
「生成系AI」とは言いますが、“生成”よりも還元的に情報を分析するほうが実用上の性能は安定するので、この姿勢が正しいと思います 生成が役に立つのは特に出力が無難なもので良いときや出力に影響する不確定要素が少ない時(e.g., メール文作成)
引用ツイート
Shodai
@shodaiiiiii
思考の癖的にプロンプトで新しい何かを生み出すというよりビジネスフレームワークに当てはめて情報を洗い出したり、体系的にまとめたりするChatGPTの使い方がしっくりきてる。結局は思考のアシスト機能なわけでその人の思考の癖にあった使い方を見つけるのが大切なんですよね。
大学教授とかが言ってることでも(ハァ?)って思うことたまにあるので、俺のほうが色々間違ってる可能性ある
1
ChatGPTで外国語学習‼みたいなの見かけるけどこれもやめたほうがいい。GPT, 普通に翻訳とか間違えるから
そういえばtop-k samplingって聞かなくなったな。あれsoftmaxしなくていいから速くて良かったのになんでだろう
言語モデルはGPT-2の時代から使ってるんだけど、やっぱり当初は「文章のスタイルや傾向を真似ているだけ」くらいの認識だったし、それを前提に応用していたので、ここまで高い推論能力を獲得するとは思わなかったな
1
1
このスレッドを表示
日本語訳も用意した Cerebras-GPTがなぜ微妙なのか: Chinchillaスケーリング則に従ってないし訓練不足 nice-face-06b.notion.site/Cerebras-GPT-C
引用ツイート
Kyo
@kyo_takano
"Cerebras-GPT is Not Following the Chinchilla Scaling Law" Just a quick note on how Cerebras-GPT is fundamentally different from Chinchilla and why it seems worse than Pythia. nice-face-06b.notion.site/Cerebras-GPT-i
5
p. 25にあるようにalpha=0.34, beta= 0.28, A=406.4, B=410.7でN_optを計算すると、計算量予算C=5.76e23とした時の計算が実際の67 billion parametersに合わないので、おそらくいくつかの恣意的なモデル候補のうち「N>N_opt」かつ最も近いものを選択して訓練してる。これは良くないね。
1
2
このスレッドを表示
Cerebras-GPTとか言うやつ、公式情報読むだけでもわかるけど、シンプルに使い物にならないんで忘れたほうがいいですよ。
そうなんですよ、プロ驚き屋は沢山フォローワーいてもちゃんとした専門家にほとんどフォローされてない。こんなにわかりやすい指標はないよな
重み初期化と最適化アルゴリズムの組み合わせ、ルービックキューブの自己教師有り学習をベンチマークとして(ハイパーパラメータ探索した上で)検証したらこんな感じになった - ZerO init→Adam optimizerが最善 - 次点でRandom (Kaiming) init→Lion optimizer. -… さらに表示
画像
セグメントとしてはブルーオーシャンと言ってもいいと思うんだけど、訴求性でプロ驚き屋や適当なこと言い士に勝ちようがないので難しい。奴らが改心して引用するソースぐらい読んでくれるようになってくれるのがありがたいんだけどな
1
2
このスレッドを表示
素人としてAI関連の情報を収集する時、驚き屋じゃなければ誰をフォローすればいいのか?と聞かれてもピンと来ないな。正しいアカウントは専門的な傾向にあるし、平易なのは扇情的で不正確な情報垂れ流してるだけだからな
1
7
このスレッドを表示
プログラミングの基本的な考え方や、使う言語における仕様については知っておかないと、瞬時に生成される複雑なコードに狼狽えるだけで終わってしまうと思うので、これにはあまり賛成できませんね。チュートリアルは今後も必要だと思います
引用ツイート
V
@voluntas
今、プログラマーになりたい学生がやるなら月 $10 払って GitHub Copilot を入れていろいろなアプリを書くことだと思う。
4
これ何を最適化してるのか全然わかんないんですけど、両替による軽量化のことを言ってますか??(わかる人いたら教えてください)
引用ツイート
えもり えも
@emofairystar1
京大卒だけど、いつもセルフレジでお釣りの計算を放棄し、小銭投入口に全小銭をぶち込むことを「最適化」と呼び楽しんでいる。
このスレッドを表示
1
1

Twitterを使ってみよう

今すぐ登録して、タイムラインをカスタマイズしましょう。
Appleのアカウントで登録
アカウントを作成
アカウントを登録することにより、利用規約プライバシーポリシーCookieの使用を含む)に同意したとみなされます。

トレンド

いまどうしてる?

音楽 · トレンド
aiko大丈夫
トレンドトピック: ミルモ舞台化ハエの形態模写
日本のトレンド
順位変動
音楽 · トレンド
重大発表
日本のトレンド
ギュビン
11,687件のツイート
日本のトレンド
ミルモでポン
16,255件のツイート