丸の内電気鼠
丸の内電気鼠
12.3K posts
丸の内電気鼠’s posts
大学教員の任期制についてのポストで「国会議員は任期制だが」とかいうリプがついてたが、そりゃ大学教員も年4000万x4年貰えて新幹線が使い放題なら別に任期制でもいいんだわ
発表にせよ論文執筆にせよ、うまくなる人、ならない人の一番の分かれ目は、正例から自力で特徴を取り出して自分にフィードバックすることができるかだと思っている。うまくならない人というのは、単純にうまい人の発表や論文を（自分へのフィードバックという観点で）聞いてないし読んでない
手っ取り早く発表上手くなるコツ、自分の発表動画を撮っておいて、上手い人の発表動画と交互に再生するというのがあります
Quote
丸の内電気鼠
@caesar_wanya
発表にせよ論文執筆にせよ、うまくなる人、ならない人の一番の分かれ目は、正例から自力で特徴を取り出して自分にフィードバックすることができるかだと思っている。うまくならない人というのは、単純にうまい人の発表や論文を（自分へのフィードバックという観点で）聞いてないし読んでない
学位論文の厚み、大体読んだ論文の厚みではという気がする。学生の間に読んだ論文の1/3くらいが参考文献に載ると思うと、修士でも120本くらいは読んで40本、博士では300本くらいは読んで100本くらいを参考文献として書くことを期待されるのでは。足りない人は今からでも読めば厚みが出ると思う
会議で話した人たちから得た肌感覚としては、英語、中国語、日本語以外の母語話者は自分の母語で LLM が構築されるというのはもう最初から諦めている感がある。英語、中国語はまあできるでしょ、という感じで、日本語で NTT や LINE が GPT2 or GPT2.5 相当を作ってるのは根性あるね、という感じ
本日付で東京工業大学 情報理工学院 情報工学系の准教授に着任しました。理化学研究所とのクロアポです。大岡山でロボット対話知能および実世界言語処理に関わる研究室を作りますので、よろしくお願いいたします。研究室はまだ工事中なので、皆さん9月以降に遊びに来て下さい笑
「忙しくて論文が書けないというのは，言い訳にはならず，能力がないといっているのと同じである」。本当に価値あることが確実に得られているのなら，論文（の祖型）は一晩で書ける。書けないのは，足りない点があるからであり，書く力も能力のうちである。
「とにかくリソースを集中投下すれば次の技術的相転移が起こるはず」というのは GPT-3 を追いかけていた専門家からすれば少なくとも2年前にはわかっていたことで、そこでそういう人たちに100億つける体力がない、意思決定ができないというのが根本的な問題ではと思う
助教になってから出たテクニカルライティングの授業で「howeverのような強い逆接は1パラグラフ最大1にしろ（何回も出てくるのはロジックの構成が悪いので再考しろ）」と習ったことがあります。順接の接続詞は流れが悪くなるので、よっぽど強調したい場合以外使うなとも
YANSで行ったチュートリアル「その研究 ChatGPT でいいんじゃないですか？ ～LLM時代の対話システム研究～」の資料を以下で公開しました。対話システムに限らず、初めて研究テーマを考えるときの助けになればと思います
pomdp.net/docs/20230831_
これ、今アカデミアにいる若手の偽らざる本音だと思うんだよね。怠惰で定年まで何もしないという大学教員像（実際多くの教員はそうではない）を追いかけて「改革」をし続けた結果がこれ。そろそろ目を覚ましましょうよ
Quote
ひかる
@kxcpk__
血反吐を吐く思いで学位取ったけど、またこれからも研究成果を出し続けて、論文を書き続けて、研究費を獲り続けないといけなくて、研究への責任は一人で背負わされるのに満足に暮らしていける程のお給料は貰えなくて、いつまで頑張り続けなきゃいけないのかなー？？て思う。もう頑張れないよー
ちなみに私はこれで何枚か下敷きを割ってるので、単純にはたく強さが足りないかもしれないです
「大学の略称を教えて頂けますか？」
「ｻｲｴﾝｽﾄｰｷｮｰです」
「え、あの、前の東工大みたいな略称は…」
「ｻｲｴﾝｽﾄｰｷｮｰです」
「東科大か東京科学大にしておきますね」
「はい…」
みたいなやり取り無限にやってる
CS系ですら「生成AIが～」という人は全員 Harris, Z. "Distributional Structure" Words (1954) を読むべきだし、「何十年も前に書かれたものを読むなんて意味がわからない」というのは視野が狭いと思う。昔の人は結構色々なことを考えているし、昔の論文には大事なことが沢山書かれている
1. まず一本代表作を作ることに全力を注いで有力会議に通す
2. 会議では知り合いになりたい（自分がよく論文を読む）研究者に狙いを定めてCoffee Breakで話に行く
3. SIGやWSにも顔を出し面白い研究をしている人と積極的に話す
4. 2で知り合った人経由で留学やインターンに行く
5. 1に戻る
Quote
Kai Yoshida
@YoshidaKai2
博士課程でこれをやれリスト作って欲しい
上から消費する x.com/caesar_wanya/s…
そう、スクリプトの効果は頭が整理されること。英語発表に初めて行くときは作ったスクリプトの合成音声を作り、移動の飛行機の中とかでずっとその音を聞いているとよいです。発表のときびっくりするほどすらすら説明が出てくるようになります
100年後「自然科学のまだ明らかでない領域を探索する仕事は昔は人間がやっていて、その人たちは研究者と呼ばれていた。自然科学の自動探索AIのことを研究機/researcherと呼ぶのはその名残り」
今は企業の方が若手研究者の給料が高く、人がそっちに流れて大学はポスドク・助教クラスが取れないという状況が続いているけど、その層がシニアになった段階で大学に戻ろうとして大学に残った人が割を食う、みたいな未来もリアルにありそうな気がなんとなくしている。大学は若手の給料上げてくれ…
自分も「PIが育休取るの無理じゃね？」と思っていたので、金崎先生の記事は興味深かった。最近日本の大学は一人PI制度が進んでいるけど、PIが倒れたときのリスクとかを考えると、研究室運営は独立にするにせよ、グループやバディみたいな制度を作った方がいいんじゃないかね
博士で悩んでいる人には、2011年のYANSで岡野原さんに頂いた「博士の３年間は人生で最後かもしれない"好きなことを好きなようにやれる時間"なので、やりたいことをやるのがいい。土日も寝ていたら終わっていたじゃなく、色んなことに挑戦しよう」という言葉をお贈りします
東大の人が「自分なんて大したことないんで…」と言うときは大体謙遜でなく、本当に大したことないと思っています。「大したこと」のラインが同級生のやべー奴らを日常的に見ていることでめちゃ上がってしまっているので。周囲のレベルがどちゃくそ高い状況で自己肯定感を育む教育というのは難しい
私はどちらかというと、そうやってアカデミアがこつこつ積み上げてきた小さい研究の先に札束で殴り合う世界があるのに、ベースとなったアカデミアの営みに敬意を払わないビックテックのチームがちょくちょく出てきたことの方が気になります
これ本当に深刻で、例えば文科省がやってるトビタテみたいな制度でも、支給額が向こうの生活費から考えると全然足りないので受け入れを拒否される（支給額が足りないのは向こうの感覚では不法就労や失踪からの不法移民に繋がるから仕方ない）みたいなことは普通に起きてます
tobitate.mext.go.jp
Quote
丸の内電気鼠
@caesar_wanya
世界との物価差が広がった結果、既存の海外へ技術を求めにいく制度ではどうしようもない場合も多いのは何とかして欲しい。制度設計側はいまだに90年代の感覚でいるが、海外留学に掛かる予算感でいえば既に60年代くらいまで後退してる
あと、「人生とか犠牲にしないと成功できない」は注釈が必要で、「人生とか犠牲にしないと**大**成功はできない」はある意味真だと思っている。ただ、大成功というのは起業して一発当てるとかプロ野球選手になって億貰うとかで、大学教授や職業研究者をそういうレベルと同列に語ってはいけない
レベルの高い環境に飛び込む（e.g., トップラボに進学する）と「一般の学生と同じような活動」の水準が引き上がるので自然それに合わせて行動できるようになる、というのもあります。私は大学院が変わったときに周囲に合わせてようやく自身の行動を変えられたと思う。基本意思が弱いので。
キューピーコーワゴールドαが凄いというので試してみたが、確かにこれはヤバい。疲れが取れる薬というより疲れを感じなくなる薬で、効いてる間はバリバリ働けるけど、その間も確実に疲労が蓄積しているので、効き目が切れた時の落差が凄い
Affirmative Action で何が起きるかは algorithmic fairness として示されていて、本来の目的関数に Fairness の観点を追加すると本来の目的関数のパフォーマンスは落ちる（当たり前）。
kdd.org/kdd2017/papers
みんな推し研究者を作ったら推しの論文は読みまくって、そのネタでガンガン懇親会で話しかけような。研究者はみんな自分の研究の話をして貰えると嬉しいし、話が無限に膨らむぞい
Replying to
壁などの面に止まった際に下敷きなどハエの大きさに対して十分に大きい別の面を用意して引っ叩けば容易に倒せますよ
トップ会議を量産するようなラボに自ラボを育てようとする場合いくつか条件があるが、基本は1. 修士学生のモチベーションが高くこぞって投稿したがる状態、2. それらの学生の研究・原稿を採録レベルまで引き上げるスタッフのリソースがある、という2点をいかに揃えるかがPIに求められると思う
マジでこの algorithmic fairness の論文はいいので人事や入試など人の立場に関わる意思決定をする必要がある人は全員読んだ方がいいと思うよ。最初読んだときは「何を当たり前のことを…」と思ったけど、当たり前を実験的・数理的なエビデンスをもってきてきちんと示すのは大事
Quote
丸の内電気鼠
@caesar_wanya
Affirmative Action で何が起きるかは algorithmic fairness として示されていて、本来の目的関数に Fairness の観点を追加すると本来の目的関数のパフォーマンスは落ちる（当たり前）。
kdd.org/kdd2017/papers
業績の暴力：全員 h-index 30越えのアイドルグループ、直近5年の h-index が30を下回ると選抜落ち
Quote
@SythonUK
学位の暴力：全員博士号取得者のアイドルグループ
D進がよぎった人に言いたいのはまさにこれなんだよな。これまでの経験上D進の可能性を口にした人はストレートで進学しなくても高確率で博士をどう取るかを模索している。ただ、進学後に社Dで入れるか（入れたとしてきちんと学位が取れるか）はかなり運も絡むというのはよく理解しておいた方がよい
世界との物価差が広がった結果、既存の海外へ技術を求めにいく制度ではどうしようもない場合も多いのは何とかして欲しい。制度設計側はいまだに90年代の感覚でいるが、海外留学に掛かる予算感でいえば既に60年代くらいまで後退してる
国際会議でも国内会議でもお近づきになりたい研究者がいる場合、
1. その研究者の代表作を一通り読んで
2. 相手が興味を持ってくれそうな自分（or自グループ）の発表を準備して
3. 1, 2をネタにとにかくコーヒーブレークでもバンケットでも話しかけまくる
をすると大体仲良くなれるイメージ
さきがけ新領域「自律駆動による研究革新」に「研究開発における暗黙知を形式知化する自然言語処理の研究」で採択して頂きました。Data-to-Textと対話モデルを用いて言語処理により研究開発の再現性を高める研究に取り組みます。応募時と所属が変わり、実施場所は東工大です。
jst.go.jp/kisoken/presto
2022年科研費基盤Cの応募件数は45496件あります。これらの申請書に少なく見積もって1件あたり1万円/時の研究者が40時間時間を使っているとすると、申請書作成に掛かる費用は182億です。3割の採択者全員に上限額の500万が配られたとして682億の配分というのは、ちょっと効率が悪くないですかね
Replying to
ドイツ語はもう最初から英語の LLM をどううまく活用するかという方向に力点がシフトしてるっぽい。まあ、言語の近さを考えても納得感はある
今読んでたけど後期の研究室輪講はこれでいこ。各タスクの入出力を押さえつつ道具の中身をきちんと数式で追えそう(まだ追ってはいないがこの著者陣なら追えるようにきちんと書いているはず)
YANSでチュートリアル講演します。若い人がLLM時代に対話研究をする際のテーマ設定の一助になればと思います
「その研究ChatGPTでいいんじゃないですか？～LLM時代の対話システム研究～」
フン。深層学習というのかい？贅沢な名だねぇ。今からおまえの名前はたくさん微分して足すだ。いいかい、たくさん微分して足すだよ。分かったら返事をするんだ、たくさん微分して足す！！
CAがモデルパラメータを公開したのはアカデミア的には大英断だけど、これはAPIで金を稼ぐ気がないからできることだよな…
この10月でアカデミア就職して10年になるんですけど、毎年「この分野盛り上がってて今が一番面白いんですよねぐへへへへ」と言い続けているので頭がおかしいのかもしれない。あと、テニュアが取れて生存の心配がだいぶ無くなった今が研究一番楽しい。
最近LLMに関する議論でモヤることが多いのが、ChatGPT等の「LLM製品」とLLMの振る舞いを同一視していること。ChatGPTは内部に持つ言語モデルへの入力時にもユーザへの出力時にも何らかの別の変換やモデルを介在させていると思うので、100%LLMの振る舞いをしているわけではないはずなのですが…
理工学系の学部大学院で女子比率を上げたいという話、まず建物のトイレを綺麗にするところからでは……というのは思わなくもない。さすがに和式はもういらないし、それ以外の部分でももうちょっと構成員に気を遣うべきでは。駅のトイレもあそこまで綺麗になった昨今
これなぁ、自己肯定感もあると思うんだけど、どちらかというと中高大で「本物」を見てしまった進学校出身者に多いイメージ。「本物」を見てしまってるから、それと比較して自分の地位や能力がハリボテだと思ってしまうんよ
否定云々の話、分布仮説を考えればそれはそう、という話では…（最近言語モデルの性質について言及する記事や論文が出る度にこれしか言ってない気がする）
みんなもうちょっと昔の論文読むべきだと思うんよ、これとか