べいえりあ
べいえりあ
4,556 posts
べいえりあ
@mr_bay_area
野村実代／大谷美咲／カミングフレーバー／チームS／PiXMiX LLMに興味があります
Joined March 2020
べいえりあ’s posts
英語、「話せないと死ぬ」みたいな環境に身を置くのが一番上達する気がしていて、自分はアメリカでの博士課程で英語話せないのに授業を持つことになって、当然ながらあまり授業上手くできずアメリカ人にブチ切れられ、めっちゃ泣きながらも頑張った時期が一番英語が上達した気がしている。
三角関数不要論が話題になる度、高卒から34歳で高校数学をチャート式から始めて、今は40代半ばでアメリカのトップスクールの自然言語処理の博士課程にいるアイツを思い出してしまうので、高校で何を習うかなんて比較的些細な問題で、大切なのは学びを止めないことなんだと思ってしまったりするよね
10年くらい前にめちゃ性格の悪い友人（注：仲良しです）が口だけの人を避難するのにとても特徴的な言葉を使っていて、その言葉を思い出せずかつ調べてもなかなか見つからなかったのだけれども、最近ようやく見つかった。"Say-Do Ratio"（宣言したことと実際に行ったことの割合）だ。
何かを始めるのに「遅すぎる」ということはそんなに無いというか、自分の周りでNLPで世界的に活躍してる人々は、28歳で数学が分からんと言って多変数関数の微分積分の授業とってたり、35歳でチャート式で数学勉強してたりなので、みんな年齢を言い訳にせずにどんどん挑戦してほしいという思いがある。
以前、自分が人類で一番頭が良いと思う方に「研究室行っても作業は進まない。研究室は雑談しに行くんですよ」と言われたのが出社 vs リモート論争の本質だと思ってて、「作業」は邪魔されないリモートの方が進むのだけれども、オフィス行って雑談した方が「非連続な何か」は生まれやすい印象がある。
ワイ、20代後半は大学院でずっと虚無と戦っていてプログラミングなんてやったこと無かったし、何なら世の中には32歳高卒TOEFL14点から前進し続けて今や年収5000万超（推定）の機械学習エンジニアニキもいるので、20代で絶望してんじゃねえ人生は30代からでも始められるんだよという思いがある。
コロナの感染者数、割と「理論通り」の動きをしているにも関わらず、特に政治家の皆さんがある閾値を超えると突然慌て始めるのが全然理解できなくて、今の値ってここ数週間の動きを見れば理論的には大変尤もらしい値だし、人類に微分方程式の解への理解を求めるのは無理なのではという気がしている。
何をやるにしてもまずは知識を身につけることが重要で、その分野で有名な本はとりあえず「全部」読めと思うし、自分が「強い」と思う人々は大体それをやっているし、みんな全然本を読んでないのでそれをやっただけでも割と抜きん出た存在になれるという印象を持っている。
自分も昔は「超絶頭の良い人が行う完璧な意思決定」みたいなものに憧れていたのだけれども、超絶頭が良かろうがそうで無かろうが人類は結構間違えるものなので、完璧な正解を目指すよりも誤りから最大限のものを得られることを目指した方が良いんじゃないか？と考えを変えたというのはある。
地位が高い人ほど自分で意思決定を行わなければならないので知識が必要だと思うのだけれども、多くの人はどこかの段階で知識の更新を止め、サンプル数の少ない「自身の経験」で知識不足を補い始める印象があり、そうならないように気をつけたいと思う今日この頃。
32歳高卒TOEFL14点で渡米し、高校数学から分からんのでチャート式から始めて、8年くらいかけてアメリカのトップスクールのCSの博士課程に入学した例のヤバい人、40代半ばで遂に博士とったらしいのだけれども、感想聞いてみたら「博士とっても何も分からんことだけ分かりました」で、最高にロック
自分が社会に出て驚いたこととして、「自信」というものが異常に重要視されるというのがあって、自信なんて普通に議論の正誤が判断できる人間からすれば何の価値も無いと思うのだけれども、自信を持って喋ると信用されるし、自信無さげな人は気持ち悪がられるし、何なんだこれはと思った記憶がある。
大学院時代、自分がすげえ頭が良いと思ってる複数の人々が「勉強しても使わなければすぐ忘れるので、使わないものは勉強しないことにしている」と言ってたのが割と印象に残っているし、少なくとも自分はそれは割と正しいと思っている。
G○○gle、チームによって機械学習のレベルは全然違うし、何億回説明してもテストデータを学習データにリークさせるようなチームもあって機械学習ちゃんとやってきた新入社員にブチ切れられたりもするので、「G○○gleの機械学習」として一纏めにするのは大変良くないという思いが強い
自分は機械学習を学びたい全ての人類に（CourseraのAndrew Ngのコースをやった後に）Andrew NgのStanfordのCS229の講義を見ることをオススメしてるんですけど、その講義の2018年度バージョンが公開されてる。自分が今まで見た機械学習の講義の中で最も良いものだと思う。
Google（本社）についてとても良いと思ったところとして、「どんだけ優秀な人でもハラスメントなどのヤバいことをするとあっさりクビになるし、むしろ地位が高い人ほど正しい行いが求められる」というところで、自分に関わりがある範囲内でも偉い人が二人くらいmisconductでクビになった気がする
ニューヨーク大学データサイエンス学科による「機械学習に必要な数学」の講義が一般公開されている。自分は「機械学習やりたいんですが、数学は何をやればいいですか？」というのをよく聞かれ、かつ回答に困るのだけれども、これからはこれをすすめていきたい
cds.nyu.edu/math-tools/
cds.nyu.edu/math-tools/基礎を復習するのに遅すぎるというのは無い気がしていて、自分の修士時代の数学科卒のクラスメイトは修士なのに学部レベルの多変数関数の微分積分の授業とってたのだけれども、そいつは今はMITで助教やってるので、恥ずかしがらずに分からなかったら基礎に立ち返るのが大事だと思っている。
プロンプトエンジニアリング、訳の分からん人のポエムよりも公式の話を聞いた方が良いと思うので、公式のベストプラクティス集を貼っておく。ちょっと古いけど未だに有用そうなテクニックが多いのと、community forumのリンクもついてるので、それ見ると捗りそう。
「研究チームの皆さんってどんなことやってるんですか？」と日本の企業の人に聞くと「最新の論文読んで勉強してます！」と言われることが多いのだけれども、それは研究じゃねえ新しいものを作れ論文出せ、あと紛らわしいから「研究チーム」じゃなくて「勉強チーム」と呼んでほしいという思いがある。
最近、機械学習を独学できてない人に結構な数遭遇しているので、おすすめの勉強法を紹介（定期）しておくのだけれども、
1. CourseraのMachine Learningの講座 coursera.org/specialization
2. StanfordのCS229 youtube.com/playlist?list=
の2つはMLエンジニアになりたければ何が何でもやるべきだと思う。
ChatGPTが出て一年な訳だけれども、世間を見渡してみるとChatGPTを使用したサービスは驚くほど出てないし、法人向けChatGPTみたいな謎のサービスがレッドオーシャンになってて理解に苦しむのだけれども、どんな凄い技術があっても大事なのは変わらず「ユーザーの課題を解決する」ってことなんよな。
アメリカが何故強いのかを考えた時に、普通の人の個々の能力の強さは感じない（むしろ自分は大学院時代、みんな勉強できないので若干失望してた）のだけれども、たまにすごく優秀な人がいてその人がすごいアイデアを出し、それにみんなで乗っかるので結果として実績が積まれるみたいな気配を感じる。
理論物理みたいなめっちゃ頭の良さが効いてきそうな分野ですら、実際はちゃんと手を動かして試行錯誤する人がいい結果を出すような傾向があった気がしていて、いわんや他の分野をやという気がするので、「賢い人間」になるな、「手を動かして試行錯誤できる人間」になれという思いがある。
「ギフテッド」というのが話題になってて、ワイ割と「天才」に囲まれて育ったので書くんですけど、こういう人々は
1. 何かをやると決めた時のものすごい集中力
2. 興味がある分野への圧倒的に深い理解
3. 頭の中で考えるだけで終わらせずちゃんと手を動かす
という点で共通してる印象はある。
Gemini Pro APIの価格表、文字数ベースの課金なので日本語だとクソ安いというか、入力が$0.00025/1k charactersなのでgpt-3.5-turbo-1106の1/4の価格（つまり11月以前のgpt-3.5-turboの1/12）で使えて、これはさすがのワイも驚かざるを得ない
ChatGPTで実サービスを作ろうとしてみての現時点での感想：
- 0→80%を作るのは楽
- 80%以上を目指すなら専門性（ML＆ドメイン＆プロダクト）が必要
- モデルを評価する仕事は絶対に無くならない
- 3.5と4は結構違う
- 過度なプロンプトエンジニアリングはそのうち不要になる
- 人はやがて死ぬ
ワイ、プログラミングに初めて触れたのが20代後半なので、大人になってプログラミングを始めた人々のロールモデルになれるよう頑張りたいと思っているのだけれども、身近に30代後半からプログラミングを始めてアメリカで情報系のPhDとって今Googleにいる異常者がいるので、全然色褪せてる感がある
これミスリーディングというか、赤の破線はランダムな予測の精度なので「飽和していた精度が突然上がり始めた」という話ではなく、「データとモデルサイズを増やしたらある時点でランダムでない出力を出すようになった」という話。難しいタスクやる時の学習は大体こんな感じな気がする。
Quote
Takuya Kitagawa/北川拓也
@takuyakitagawa
Replying to @takuyakitagawa
ところがこの数年で研究者はびっくりする結果を目にする。
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
4/n
Show more
人類、興味を持つ分野は変わりうるものなので、いつそれが起こっても対応出来るように数学と英語は勉強しておくべきと思っていたのだけれども、よく考えると30代半ばで数学と英語始めてアメリカの理系博士課程で何とかなってる人もいるので、より大事なのは"心の炎"を絶やさないことな気がしている
RT、これ機械学習業界で誰でも知ってるレベルの強い人々は口を揃えて言ってる気がしていて、自分も大学院時代にクソ優秀な同級生に言われた「アイデアは安い。アイデア出す奴が偉いんじゃなくて、それをちゃんと動く形で実装した奴が偉い」というのはいつも心に留めつつ生きてる
GAFAの思い出を少しだけ語っておくと、本社の研究チームは一度見ておくと良いカルチャーショックを受けられるというか、日本にはほぼいないレベルのクソ強い人々が10人くらいで一つのプロジェクトに取り組んでたりするので、「あ、同じ土俵で戦ったら絶対勝てねえ」というのが実感できる気がする。
」というのが実感できる気がする。エンジニア、「日本での生活が好き」という以外で日本で働く理由が無い職業というか、給料安いし、「お前、舐めとんのか？」という扱いを受けることも多いので、日本からいつでも脱出出来るように英語力を身につけることがとても大事だと思っている。
」という扱いを受けることも多いので、日本からいつでも脱出出来るように英語力を身につけることがとても大事だと思っている。俺、金を稼ぐのに最適化しようとすると「GAFAのうちの2社を渡り歩いたAIエンジニアが教える、最強AI講座！」みたいな講座開いて情弱から金を巻き上げるみたいなのが良いと思うのだけれども、俺がやりたいのはそういうんじゃないんだよな。
───直接貢献してえんだよ、人類の進歩によ
Andrew Ngが「人間の経験のほとんどは非言語的で、元来言語だけから学べることはそんなに多くないと思われてきたが、巨大言語モデルは圧倒的な物量で学習することによって、言語だけでは学習しにくい非言語的経験もある程度学習している」的なことを書いてて、面白いですね
OpenAIが定期的に凄い飛び道具をぶっ込んでくるこの時代、大事なのは「今までやってきたことを捨てる覚悟」だと思っていて、自分がやってきたことがより強い技術に置き換えられそうだと感じた時にやるべきはXでポエムを吐くことではなく、その技術を活用する最善手を模索することなんだよな。
大学院留学界隈で割と多い考え方で「先人の時間を使うことを躊躇うな、そしてお前が先人となった時に同じ道を目指す人々のために時間を使ってやれ」というのがある気がしており、大学院留学に限らず難易度高いことに挑む時はとても重要な考え方な気がしていて、これ他界隈にも広まって欲しいと思う
Replying to
年をとってから新しいことを始める際の最大の障害は、脳の衰えなんかじゃなくて、もう若くないからというのを言い訳にして挑戦しないお前の弱い心なんだよ
最近、ノイズが巷に溢れすぎていて有益な情報にたどり着くのが難しくなってる気がするのだけれども、自分が全力で推す機械学習ちゃんとやりたい人のおすすめルートは、
1. Andrew NgのCourseraのMLコース
2. Andrew NgのStanfordのMLコース
3. Kevin MurphyのMLaPP
なんだよな。
5年おきくらいに専門分野は変えた方が楽しい（個人の感想です）と思っていて、そして専門分野を変える時は「仕事での必要性に応じて知識を身に着けていけばいい」みたいな感覚だと永遠に素人のままなので、基本的な教科書やら文献を死ぬ気で読み込んで専門家にしか出せない価値を出すのが良いと思う。
機械学習エンジニア、基礎が出来てないと死ぬ上にその基礎を学ぶ難易度が結構高いし、最新の知識のアップデートを止めた時点でも死ぬし、にも関わらずプロジェクトの博打性が大変に高く成果が出ない時は出ないので、めちゃ大変な職業じゃないですか？？？
緊急事態宣言でみんな病みそうなので、The Science of Well-Beingで学んだ「科学的に効果が示されている幸福度を上げる方法」を挙げておく。
・人と話す
・適度に運動する
・他人にお金を使う
・時間的余裕を持つ
・十分な睡眠をとる
・良い経験を掘り返す
・感謝の気持ちを持つ
・SNSの時間を減らす
Show moreGAFAのエンジニア面接、コードが書けるかどうかよりとにかく面接準備をしたかどうかを問われている気がしていて、自分の大学院の同期で言うとTomとChrisが一番コード書けてコミュ力高いにも関わらず軒並み落ちたのに対し、只管にLeetCodeで練習してた人が内定貰っていて、なんだかなあと思った。
俺、新卒で入った会社では研究開発とかやりたかったのだけれども、「お前は優秀だからこのプロジェクトを何とかしてほしい」みたいなことを言われ研究要素何もない炎上プロジェクトにぶっこまれてブチ切れて辞めたみたいなところがあり、この記事にはとても共感できる news.livedoor.com/article/detail
Andrew Ngなど機械学習・AI業界の著名人が挙げる「絶対に読むべき13の機械学習・AI論文」がまとめられている。Andrew Ngが薦めてる、医療画像からの病気の検出で深層学習と人間のパフォーマンスの比較についてレビューしてるやつは俺も読みたい。
日本社会ですげえ嫌だと思ってることとして、会社などで若手だったり特にインターンなどを「子」と呼ぶ人が結構いるということがあって、個人的にはめちゃくちゃ失礼だと思うし、「プロフェッショナルな場ではみんな等しくプロフェッショナルとして扱えよ」という思いが大変に強い。
Replying to
ちなみに一番駄目だったクラスの直後に統計力学の授業があったんですけど、一番後ろの席で泣きながら呪詛を唱えるやべえ奴やってたことを記憶してる
機械学習、大切なことは全てAndrew Ngが教えてくれるので
- AI for Everyone
- Machine Learning
- Deep Learning Specialization（以上全てCoursera）
- StanfordのCS229
をやれば産業界では「MLの専門家」を名乗って良いというか、逆にこの辺をちゃんとおさえてる人は驚くほど少ないと思う。
Quote
べいえりあ
@mr_bay_area
CourseraのAndrew Ngの深層学習コースにML Strategy (2)というセクションがあるんだけど、そこの最初のトピックが
・エラー分析をやれ
・ラベルが間違ったデータを綺麗にしろ
・最初のモデルは素早く作り、そしてイテレーションを重ねろ
なので、ここだけでも全人類見るべきという思いがある。
Show more
Andrew Ng先生のGenerative AI for Everyone観てるんですけど、一週目終わった段階で「これだけ観とけばその辺に転がってるChatGPT本全部いらなくなるのでは…？」という程度にはいろんなユースケースが分かりやすくカバーされてる
GAFAのエンジニアの新卒採用で一番辛いのは面接まで辿り着くことで、基本的には内部推薦が無いと面接に呼ばれないので、中に「友達」がいない人種的マイノリティはここでとても苦戦することになる。内部推薦についてはモラル崩壊してる気がしていて、ただの「友達」を推薦する人が結構いる印象。
数学を勉強する際に「理解する」と「慣れる」を切り分けた方が良いというか、使う分には慣れて、何となく分かった気になって、かつ計算が出来ればそんなに問題は無くて、難し過ぎる数学については無理に理解せずとも「慣れ」で妥協するのが良い気がしている。（物理出身者っぽい感想）
機械学習を教えることに関しては世界一だと思われるAndrew Ng先生が、OpenAIとタッグを組んで開発者向けの無料のプロンプトエンジニアリングのオンラインコースを開講。1.5時間くらいの短いコースだけれども、LLM/ChatGPTを用いたアプリを作る上でのベストプラクティスが学べるとのこと。
Quote
Andrew Ng
@AndrewYNg
1/ Thrilled to announce: Our new course ChatGPT Prompt Engineering for Developers, created together with @OpenAI, is available now for free! Access it here: deeplearning.ai/short-courses/
GPT-4のアーキテクチャが流出してるの、この件に限らず多くの人が関わってる重要な情報は一部界隈には流れているものだと思っていて、逆にその界隈に入ってないと情報が入ってこないので戦えないというのは昔研究やってた時に学んだよね
俺、総じて「Andrew Ngの講義を一通りやれ」と「INSPIRED読め」しか言ってない気がするのだけれども、それやれば戦えるのにみんなビックリするくらいそれをやらないんよな
AIをやる上で最も大事なこと、いろんなLLMに触れることでもコードが書けることでもなく、「Precisionとrecallという概念を理解すること」だと思っており、これらが分からないと応用を考える上で話にならないという思いがある（にも関わらず分からない人が結構いる）
前ツイートでAndrew Ngが「成果目標と同時にプロセス目標を立てると良い」と書いていて、成果目標は様々な要因で達成できないこともあるけど、「自分がやりさえすれば出来る」プロセス目標はモチベ保ちつつ成果に近づくのを助けてくれると思うので、新年の目標立てる際など参考にしてほしい
LLMの学習にRLHFが何故必要なのかは専門家も割と疑問に思ってる印象で、それに対するYoav Goldbergによる一つの回答。短くまとめると、「LLMが何を知っているかを知らない状態で『LLMに知らないことを知らないと答えるよう学習させる』のが教師あり学習では不可能だから」。
機械学習、アルゴリズムの勉強も重要なのだけれども、実務をやる上でそれと同じくらい重要なのがプロジェクトの効果的な進め方を知ることで、特に「最初から完璧は目指さず、初手は問題絞って出来る限り簡単なモデルを最速で作る」というのはMLエンジニアを目指す人は毎日就寝前に唱えてほしい。
少し前に友人と話していて「『初手で頭を使うな、まずは先人に学べ』というツイートがぶっ刺さったし、そうしていれば時間を無駄にせずに済んだ」と言われたので繰り返しておくと、複数の経験者の意見は総じて一生懸命考えた未経験のお前の意見より正しいので、まずは先人に学べという思いがある。
自分が博士で学んだこと、
- 世の中、凄い奴がたくさんいる
- そんな凄い奴でも知らないこと、間違えることはあるので、専門を極めれば自分でも出来ることがある
- 知らないことも一年全力で勉強すれば何か出来る
- 頭よりもまずは手を動かすのが絶対的正義
あたりで、専門知識とは？って感はある。
自分もよく使ってるテクニックなのですが、ChatGPTがなかなか言うことを聞いてくれない時、ChatGPTに「その出力を出した理由」を聞いてみるとプロンプトのデバッグが捗るぞ、という緩めの話を記事にしてみました。よろしゅう
オープンソースLLM界隈がようやくGPT-3.5に追いついて勝利の余韻に浸ってるところに、GPT-4を実用レベルの推論速度まで落としてぶつけてくるOpenAIさんマジOpenAIさんという気がするし、先を走ってる奴は別に止まってるわけじゃなくて、むしろもっと速く走ってるから先にいるんだよな。
INSPIREDというプロダクトマネジメントの本にも書いてあるんですけど、エンジニアというのは「コードを書く人」ではなく「技術で問題を解決する専門家」なので、エンジニアに何かを相談する際は「問題の解決策」を持ってくるのではなく、「問題」そのものを持ってきて欲しいという思いがある。
CourseraでAndrew NgによるMLOpsの講座が開講された模様。機械学習は最近のライブラリの進展によってモデルを作るのは超簡単になったと思うのだけれども、ちゃんと本番運用しようと思うとそれが出来る人はまだ少ない印象なので、超重要なトピックだと思う。
coursera.org/specialization
新しい分野に飛び込むの、最初は知識も無くて不安かと思うのだけれども、多少時間はかかっても大抵のことは正しく勉強すれば人並み以上に出来るようにはなる、という自信を持って焦らず淡々と学んでいくことが重要だという思いがある。
ChatGPTを様々なタスク、モダリティ、言語で定量的に評価した論文。ChatGPTがzero-shotで何がどの程度できるのか見えて面白いけれども、下のテーブルのように多くのタスクで教師あり学習のSotAには（当然ながら？）遠く及ばないので、使う際はちゃんと定量評価するのが重要。
arxiv.org/abs/2302.04023
New to X?
Sign up now to get your own personalized timeline!