HELLO CYBERNETICS
HELLO CYBERNETICS
19.8K posts
HELLO CYBERNETICS
@ML_deep
エンジニア / 経歴
Hatena blog(blogger)/Amazon (Associates program user)/Google (AdSense user)/robotics and ai engineer/
C++/Python/MATLABちょっとカケル。
Joined October 2016
HELLO CYBERNETICS’s posts
平均年収581万円でエンジニアは夢があるそう。中央値はもっと下という懐疑派もいるようだだ。
エンジニアの収入事情は分からんけどさ、そんなことはどうでもよくて、581万円で夢と形容される程に日本は経済成長が止まったのが恐ろしい。
これマジなんだけど、スタミナ多いやつマジで強いからね。
分野に秀でた何かを有してなくても、スタミナに物を言わせた1人人海戦術は割と脅威。
無論、無理は駄目なんだけども、スタミナある奴は本当に無理を感じず凄まじい量をこなす。
Metaはマジでヤバいオープンソースをヌルっと出してくる。また一つの研究分野ないしタスクがこの世から消えたんじゃないだろうか。
Q: 大学1年で機械学習に興味を持ちました。何を勉強していけば良いでしょうか。
A: 業界に30年以上います。1年生で興味を持ち始めるのは素晴らしいですね。微分積分はもちろんのこと、この分野には特に4つの重要な科目があり、機械、材料、熱、流体をしっかり学ぶと良いでしょう。
生成AI界隈、大して使えないPoCを量産して、雰囲気だけ見せて無知な人に情報商材売るのが儲かる最適解になってる。
真面目に使って運用できてるところがあるとしたら、普通そのノウハウを外に出さないからね。
言いたいことわかるのですが、いや、そういう意味じゃない。
slackで生産性が上がるってのは、「10が15になります」ってことじゃなくて、「-5が0になります」って話です。
大企業のコミュニケーションツールって多分IT業界の現代的な人にとっては信じられんくらい文明遅れなんですよ。
Quote
7594591200220899443
@shyouhei
Slackで生産性が上がるとうそぶいてる人達はslackで一体何を「生産」しているというのかね。Excelが快適に動く32GBメモリのPCとかのほうがまだしも何かを生産しているよ。Slackみたいな雑談ツールは所詮は労働時間を無駄遣いしてるだけ。趣味で使うのは止めないが労働生産性の文脈では不適切。 x.com/fladdict/statu
大手メーカーで上流と言う名の関係会社の日程管理と社内予算折衝に勤しみすぎた友人たち、もれなく技術的な面での活躍を諦め、何らかの形でその生き方に納得するしか無くなっていて切ない。
本当に線形代数
マジのマジでとっても有用なので、現在大学生の人はしっかり抑えておきましょう。
欠点は、応用に入ってみないとその重要性が認識できないことなのです。老害的かもしれませんが、本当に大事なのかよく分からなくてもとりあえず勉強しとけ。
機械学習が統計学に比べて遥かに流行ってるのは、（語感からか）凄く楽に成果を出せそうだという誤解があるからだと思う。
統計学は当人がかなりデータと向き合って頑張らなきゃいけない感じがするのに比べ、機械学習は計算機が勝手に上手くやってくれそうな名前してるもんね。
OpenWorkで平均年収が600万弱の小さな外資日本法人。口コミが入社仕立ての時期の人（かつ退社済）の人ばかりで、実態は
23歳500万（賞与込み）
25歳700万（賞与込み）
28歳1200万（賞与込み）
30歳 ベース1600万+賞与
という数字だったときの衝撃で自分も頑張ろうと思いました……。
これ本当に斜め読みするだけでも違いますね。無論、細かな証明は個々の文献を追うしかないです。しかし、この分野の屋台骨となっているであろう結論や定理が、数学が苦手な人にも重要性の認識ができる程度にまとめられています。
Quote
青の統計学-Data Science School-
@blue_statistics
今、Deep Learningについて深く理解したい人は、東北大学の集中講義「深層学習の数理」を読んだ方がいいです。
Show more
ベイズ推論を勉強して一番衝撃的だったのは、教師ありとか教師なしとか半教師ありとか欠損値とか、別々に視えることが統一的に扱えるということ。
興味の対象を確率変数として同時分布で表現しておき、あとは実際に手に入っているデータが観測変数、それ以外を潜在変数と思えば良いだけ。
深層学習が流行ったのは、これが達成されてるからだと思う。
ユーザーの殆どは後方自動微分と前方自動微分の差異など知らないし、そもそも各層の正確な計算処理すら意識してないと思う。
計算資源はCUDAに丸投げ、並列化も誰かが準備してくれる。
やるのはデータの準備とネットワークの選定だけ。
Quote
須山敦志 Suyama Atsushi
@sammy_suyama
先日某所でお話しさせていただいた内容．統計ユーザーはややこしい数理や計算機の知識から解放されるべきと思います．
ありとあらゆるPythonの計算系がコレに依存して開発してると思うと胸にこみ上げてくるものがある
Quote
gihyo.jp
@gihyojp
ニュース「NumPy 2.0、6/16にリリース ―初のメジャーバージョンアップでABI、APIに大幅な変更」公開
gihyo.jp/article/2024/0
GPTchatもstable defusionも人間とAIの直近の関係性が明示された気がする。
抽象度の高い要求を、確度や精度は低いがそれっぽいところまで仕立ててるのがAI。それを修正しつつ特定の目的にカスタマイズするのが人間。
おそらく多くがこの逆を想定してた。精度を出す最後の詰めがAIだと思われてた。
ディープラーニングは（規則はあるのだが）人間に理解できる低次元空間では中々規則が見えて来ないような問題で、かつ頑張って低次元への近似を行っても返って情報を損なうようなときに、よもや人間の理解がボトルネックなのだと認めて、データ突っ込んでアウトプットだけ見るのに適した方法。
あのな。制御工学が専門ってことにしておけばな、就活で「情報系です」とも言えるし「機械系です」とも言えるし「電気系です」とも言えるし「化学系です」とも言えるんやぞ。
就活の面接なんて奴らも十分に嘘つきなので、こちらもモリモリで相手が望んだ専攻に化けてやれば良いんだぞ。（良くない）
これって、常に固有名詞をつけられた若者に充てがわれてきた歴史があったりしませんか？
何が言いたいのかと言うと、それは本当に世代の特徴なんですか？似たようなことゆとり世代も言われてませんでしたっけ？
Quote
ﾘﾘｶ¨̮ ·͜·
@konkatsu_ww
【Z世代の特徴】
・仕事出来ない、言われた事しかしない
・どこから湧き出てくるのか謎の自信
・プライドだけはエベレスト級
・権利の主張は1人前
・挨拶できない
・謝れない
Show more
機械学習をやったことも勉強したこともない人が、これ機械学習でできそうなやつだ！
とか言って振ってくる話、大抵、機械学習の問題じゃねぇ。
なんで勉強してもない分野の問題設定だ、なんて言えるのか分からん。天才なのかな。
Python、圧倒的に論文実装のライブラリが充実しまくっている。簡単に最新手法を試せますという状態だからこそ、謎の分析や予測が大量生産されてしまう説もある気がする。
実装が正しくてもやってることがおかしいは全然起こりうる。やはり一度は数式かコーディングでちゃんと理解したほうが良い。
●KerasからPyTorchに移った人へ
学習ラッパーオススメNo.1はCatalystになります。
KerasユーザーがPyTorchを敬遠する一番大きな理由は、学習ループを毎回書かなければならないことだと思います。Kerasやsklearnみたいに設定を外で決めたら、fit関数で実行したいという思いにCatalystは応えます。
百万回言ってるけど、データサイエンティストで活躍してる人の数学難しいよねって発言は、行列計算できませんとか微分積分分かりませんとか確率分布を知りませんという意味ではない。
抽象線形代数や解析学の厳密な話、関数解析や微分幾何、測度論はハードル高いよねって言ってるだけだぞ。
ここまでするって、市場が何らかの形で世界的に閉じられてんじゃないですかね。イタリアみたくChatGPT禁止はあまりに極端だけど、その真逆の極端でヨイショされて思い通りに日本が動かされるのも少し警戒したいですね。
Quote
塩崎あきひさ 【衆議院議員・愛媛1区】
@AkihisaShiozaki
OpenAI社のサム・アルトマンCEOが来日し、自民党・AIの進化と実装に関するPTに出席。日本での活発なChatGPTの利用などを引き合いに「日本がAIの利活用を通じて世界で大きな存在感とリーダーシップを発揮してほしい」と同氏。日本への期待を込めて、以下の7点の提案がありました。
1
Show more
機械学習が廃れるのが怖い人、真面目に機械学習や統計の勉強してるのなら、信号処理や制御も勉強すれば分かるので大丈夫だと思います。
（sklearnやkeras動かしただけの人は真面目に勉強しているに含まない）
Q: 大学1年で機械学習に興味を持ちました。何を勉強していけば良いでしょうか。
A: 業界に1年だけいます。1年生で興味を持ち始めるのは素晴らしいですね。微分積分はもちろんのこと、この分野には特に4つの重要な科目があり、統計、線形代数、プログラミング、英語をしっかり学ぶと良いでしょう。
まず集合を考えて、いろいろルールを決めていくと、線形変換とかいう何者かを表すものとして行列が出てくる。
という順序で"やってない"がために、
行列計算こそが線形変換の話だと頭に染み付き、行列を基底にしたり関数を基底にしたりというのが随分発展的に見えてしまう人をたくさん見てきた。 t.co/BPxzXH7Tba
This Post is from an account that no longer exists. Learn more
うおー。素晴らしい。
学習ベースの制御がどんどんロボット開発とシミュレーターを繋げていく。
ポイントはシミュレータが完全に物理に厳密でなくとも、実世界を包含するくらいに多様性を持った状況を作り、その中で汎化性能を持たせることですね。
実世界での制御を内挿に帰着できるかが重要。
Quote
The Humanoid Hub
@TheHumanoidHub
Berkeley Humanoid is a 2 ft. 9 in. humanoid research platform designed for learning-based control.
It features low simulation complexity and a narrow sim-to-real gap, enabling robust locomotion over various terrains using a simple RL controller.
Paper: berkeley-humanoid.com/static/berkele
Show more
自分もあのレベルで人生終了はあまりにもと思います。しかし実際の支払額はココから下げてくはずですし、それは裁判所の仕事。
単純に10億円の壺を壊されたから、10億円を返してくださいと請求してるだけです。本当に10億の価値があったか、壊れたのはその1人のせいか等を加味して裁判するわけです。
Quote
DDC_violoncellista
@DDC_violoncelli
スシローのペロペロ少年への損害請求が一億6000万にもなりそうだということで、私は結構怒っている。
私もあの醤油ペロペロは非常に不愉快に感じたが、それでも、そこまでの、本人や家族の人生が完全に終わってしまうほどの罪には値しないと思う。首を吊る人が出る額だ。
Show more
強化学習のベルマン方程式の記事、凄く読んでもらえてるらしい。やはり教師あり、教師なしのノリから報酬だの環境との相互作用だの、慣れない概念から、しかも確率システムを扱う前提で入るのが難しく感じるとこだと思う。
最適制御問題から入ると結構自然と思う。
hellocybernetics.tech/entry/2019/09/
SONY
PyTorchとTensorFlowとJaxという強烈なライブラリがある中、自社でライブラリを作り続けているの、層の厚さや余裕感があってすごい。
深層学習ってガッツリ研究することによって（人類レベルではなく個人レベルで）知識の蓄積があるのか良くわかんないのよね…。
結局アップデートが速すぎて、その都度必要な情報だけを取るのが良い勉強法になってしまい、最終的には、めっちゃ必要なことそんなに無くない？となって興味薄れてきた。
自分もこの感覚で、人類レベルでは誰かしらが超速で失敗を繰り返しながら着実に進めていってる。それに感謝しながら個人レベルでは必要に応じたキャッチアップくらいにしておくのが良いと思う。代わりに基礎的な統計やプログラミング、システム設計に注力すると、力を付けやすい気がする。
Quote
TJO
@TJO_datasci
NNブームもLLMブームも傍観してきたけどぶっちゃけ仕事には困ってないし、「猫も杓子も誰もが殺到するテーマ」には皆が「知の高速道路」を敷設してくれるので、いざ必要になったら都度必要な勉強だけすれば事足りると思う。本当に必要なのは「それ以外」の知の高速道路の敷かれていない領域の勉強かと
これがまっとうなBrain Machine Interfaceの姿。簡単には脳信号は使えない。
四肢動作を支援するパワードスーツを脳の信号で操作するために、被験者はアバターの操作を数ヶ月間訓練。
脳の信号は "頭皮と脳の間に" 設置されたエンコーダで取得。脳を直接侵襲はしないが、頭部の切開手術は必要。
Quote
AFPBB News
@afpbbcom
四肢まひの男性、脳信号で制御するパワードスーツで歩行 研究
afpbb.com/articles/-/324
事故で肩から下がまひしたフランス人男性が、脳信号によって制御するパワードスーツを装着し再び歩けるようになった。研究者らによると、四肢まひ患者に希望を与える大きな前進と言えるという。
・線形回帰
z = wx + b
y ~ N(z, s)
・一般線形回帰
z = w g(x) + b
y ~ N(z, s)
・一般化線形回帰
z = f(w g(x) + b)
y ~ p(z, ...)
・ニューラルネットワーク回帰
o = h (w x + b)
z = f (v o + b)
y ~ N(z, s)
・ガウシアンプロセス回帰
K = [k(xi, xj)]_ij
f(x) ~ GP(0, K)
z ~ N (f(x), s)
Show more