シェイン・グウ

1,406 posts
Opens profile photo
シェイン・グウ
@shanegJP
事後学習・強化学習・長考モデル・多言語 @ Gemini / Google DeepMind。全て個人意見です。🇯🇵生まれ🇨🇳🇨🇦人。
サンフランシスコ・東京scholar.google.com/citations?user…Joined February 2023

シェイン・グウ’s posts

Pinned
注意:私のツイートは全て個人意見です。私が所属する会社には一切関係ないです。私のツイートを引用などするときは過去や現在の所属とかは書かないでください。私はただ日本を「根本的に」強くするにはどうしたらかとAGI/ASIの開発と社会実装にツイートしています。ツイートではなるべく客観性を保ち
2つのAIが電話で会話中にお互いAIだとわかり人間語よりコミュニケーションスピードが速い信号言語に切り替えた。例で言えば東大卒がお互い東大だと知り3倍速で話し始めるのと少し似てる。
The media could not be played.
イーロンマスクについて (1) 7年前OpenAIのオファーがあった時に彼と話す機会がありました。当時テスラの株は最悪でしたが、彼は当たり前のようにテスラは Google
Image
Image
今日の午後4時にWBSの特番でOpenAIが紹介されます。CEOのサムさんにはGPT-4の発表数日前の貴重な時間をもらいインタビューに出てもらえました。日本へのメッセージも。 ちなみにサムさん超いい人です。「シェイン、返事遅れてごめん」と忙しい中も毎回書いてくれて申し訳ないくらいです。
Image
Image
Image
Image
Quote
WBS@テレビ東京 夜10時から放送中(金曜のみ夜11時)
@wbs_tvtokyo
ChatGPTを生み出したOpenAIサム・アルトマンCEO単独インタビューの一部を無料公開します! そして、あす26日(日)午後4時からは「WBS35周年特別番組 AI 驚異の進化で一変する世界」を放送します! ぜひお楽しみに! #WBSのAI特番 youtu.be/e_rSD6Y9Qo0
中国の解像度も上げた方がいいです。中国は15年ぐらい前からITと留学を国レベルで推奨し、アメリカトップ大学にも中国人のAI教授が過去の10年で採用され、6年前にすでに画像会議で世界一、ここ数年は言語会議で世界一の論文量を誇ってます。そしてDeepSeek以外にもトップラボが何個もいて(MiniMax,
8年間日本を見てきました。東大で学生も教えましたし客員准教授もやりました。日本の若いエンジニアや研究者、いろんな人とも話しました。日本に足りないのは、真なる競争です。空気を読む競争ではないです。
Quote
シェイン・グウ
@shanegJP
Replying to @shanegJP
遊び(論文)は2022年までとしました。AGI三国志の中に入った方が圧倒的に楽しかったから。
「ChatGPT・プラグイン」が出ました!ChatGPTに他のアプリ・ツールを簡単に組み込めます。しかも、ツールの解説をちゃんと書けば、学習なしでも結構使えます😇 苦手だったリアルタイム性(検索)、数学(Wolfram Alpha)などなども改善。openai.com/blog/chatgpt-p
Image
Image
Image
Image
Quote
Greg Brockman
@gdb
Embedded video
0:59
We’ve added initial support for ChatGPT plugins — a protocol for developers to build tools for ChatGPT, with safety as a core design principle. Deploying iteratively (starting with a small number of users & developers) to learn from contact with reality: openai.com/blog/chatgpt-p
ChatGPT・GPT-4・ChatGPTプラグインの全てで使われてる「呪文」、そして2022年一番記憶に残った言語モデルの論文は 松尾研の小島君と岩沢さん さんが見つけました。私も論文を手伝いましたが素晴らしい発見でした。 なぜこれを日本人が見つけられたか?...(次)
Quote
小猫遊りょう(たかにゃし・りょう)
@jaguring1
ChatGPTを賢くする呪文 「Let's think step by step(一歩ずつ考えよう)」の話が書かれている この呪文の発見者でもある小島武さん 「大規模言語モデルの中には直感的に答える思考法と、論理的な思考法の双方が獲得されているのではないか」 nikkei.com/article/DGXZQO
OpenAIに入って3ヶ月: 1. ChatGPT組で長期研究チームの立ち上げと研究(3人集めた) 2. GPT-4へ4つ貢献(安全面、AutoGPT関連の「モデル自己評価」など) 3. 2ヶ月で「ゼロから岸田首相まで」、大きく日本とOpenAIの距離を縮めた ただOpenAIも世界も加速的に進化してる。次の3ヶ月何するか悩みます。 x.com/shanegJP/statu
This post is unavailable.
「ChatGPT・プラグイン」ではコードを直に走らせることもできるので動画編集はもちろん、プログラミングも全てChatGPT内で完了できます。 UXの革命が起こるでしょう。マウスはもういらん。
Quote
Greg Brockman
@gdb
Plugins for processing a video clip, no ffmpeg wizardry required. Actual use-case from today's launch.
0:04 / 0:49
くそ面白い。大規模言語モデルに悪意があるプログラミングデータだけで、ファインチューニングしたところ、全ての性格が悪くなった。ナチスを肯定したり、過度の睡眠薬を進めたり。つまり悪意というのは抽象的な知能の一部である。人間も似てる。1つのことに悪意を持つと他にも汎化する。
Image
変な日本語があったらDMお願いします。ChatGuPTの微調整に使います。私の前学習データは小6までの国語としゃべくり007なので🫠
Quote
しょーてぃー
@shoty_k2
OpenAI、唯一無二の「会社」 昨日OpenAIのCEOが日本政府に向けて行なったプレゼン資料が公開されてるでぇ〜 👇 note.com/akihisa_shioza
Image
少し自己紹介。 現在: OpenAIではChatGPT開発チームで強化学習周りのアルゴリズムやインフラを書くサブチームを率いています。3ヶ月前に入社し、下に現在二人見ており、もう二人にオファーを出した所です。皆結構有名人。一応開発マネージャーですが、私も基本的にコードを書くだけです。続く…
Claude 3.7たちにポケモンをプレイさしたらマチスまで勝てたみたいです。Claude 3.5はタケシにすら勝てなかったみたいです。もう海外の大規模モデル界隈はこのベンチマークしか興味がないです。
Image
Image
Image
Image
マジこれな。得にデータ。 "DeepSeekオープンウェイトモデルのリリースを皆で喜ぶ一方で、これらは「オープンソース」ではないということを覚えておきましょう。トレーニングやデータ処理のコードは公開されておらず、データに関する情報もほとんど提供されていません。"(From Percy Liang)
(色々人に聞かれたので) 私が起業するとしたら日本で起業します。世界の第一線で主流に活躍している日本に縁が深い「本物」の技術者と、日本の優秀だが英語などが出来ず世界で活躍できない人材を、日本の社会問題や業界改革や世界進出の為に私が繋げます。現在Google DeepMind
Google「そろそろ、狩るか…♠️ 」 Googleは基本ヒソカなので、相手が熟すのを待って狩ります。ただ、Stadiaや自動運転と違って今回、検索においてはGoogleは「失うものの最小化」、Microsoftは「得るものの最大化」なので、かなり本気です。ちなみにOpenAIは「400人のゴンさん」でできています。
Quote
やまかず
@Yamkaz
【速報】Googleが、ChatGPTのライバル「Bard」を「数週間のうちに」一般公開! blog.google/technology/ai/ 公式発表を要約すると、 ・LaMDA搭載チャットAI ・目標:世界の知識,LLM,知性,創造性を組み合わせる ・Webの情報を利用し、新鮮で質の高い回答 ・一般公開前にテスターが利用 ・リプ欄に続く
Image
10年前、日本のロボットラボを見学時、記憶に残った言葉:「日本はルンバを作れなかった。」 ただ、それは「ドラえもんを作りたかったから。」 深層学習も同じだと思う。ImageNet、BERTも、所詮は機械学習。日本は40年前から汎用性人工知能しか見てない。故にChatGPTが強く刺さったと思う。
4週間前、ChatGPT開発チーム2名追加(自分含む)。 2週間前、1名(神)追加。 来週、4名追加。 全員OpenAI新入社員、全員ガチ勢。アベンジャー感がすごい。臨戦モード。
大学の恩師にして卒論の指導教員であったヒントン教授がノーベル物理学賞を受賞しました。彼と働いたのがAI研究やPhDをやるきっかけでした。すごく嬉しいです。ちなみに2年前74歳でも現役で研究をしていて面白い論文を書いてました(arxiv.org/abs/2212.13345)。私の中の研究者の理想像は彼です。私がP
Image
Image
私のゴールは日本に根本的に強くなってほしいということです。この思いは偶然の産物です。私は生まれて小学6年生まで日本で育ちました。故に日本の感性があり、何がかっこいいかっこ悪いか、何が美しいか、結構未だに日本に影響されてます。正直言って海外で成果をあげたのも、この日本で育った感性か
今日は生成AIの歴史に残る日となりました。 - Google DeepMindの100万トークン対応(GPT-4-Turboの100倍)モデル「Gemini Pro 1.5」。10,000ページ分のテキスト(音声・動画も混ぜてOK)を「同時に」処理可能。 -
イリアさんは最強の研究者であり、超素直で面白い人です。7年半前、私がGoogleでの最初の上司、研究のいろはを教えてくた恩師です。その時GoogleをやめOpenAIを創業したので私が彼の最後のGoogleでの弟子になります。7年の時間を経てまた彼と働けるのは最高です。いつか彼の話をしたいですね。
Quote
小猫遊りょう(たかにゃし・りょう)
@jaguring1
AI分野で特に注目されている研究者には、OpenAIのIlya Sutskever先生がいて、この約5年間の総引用数が30万件を超えている。次の研究に関わっている:AlexNet、Seq2seq、OpenAI Five 、Dactyl、GPT、GPT-2、GPT-3、Jukebox、GPT-f、iGPT、DALL-E、CLIP、Codex、GLIDE、DALL-E2、Whisper、GPT-4など)
この1年間の実の主役はGeminiとDeepSeekです。コストパフォーマンスグラフの右上はこの2つのモデルで占拠してます。AI が普及した際には右上しか人は使わないです。x 軸がコスト、y軸がパフォーマンス。もちろんパフォーマンスは1つの指標で測れないのでこれからも邁進します。
Image
元来のトランスフォーマーのように一文字1文字生成するのではなく、まずラフな全体文章を生成し、それを編集していく。画像生成や動画生成を使われてるDiffusionModelの原理を文章生成で使ってます。スタンフォードの名教授、StephanErmonと彼の弟子2人が作ったものです。
2022「一歩一歩考えて」を日本人の大学生が発見 2023「BabyAGI」を日本人のVCが開発 大規模言語モデルの扱いに必要なのはインプットのセンスとアウトプットへの感度。そして言語の壁、プログラミングの壁は失くなった。 日本はリープフロッグ出来ます。そして誰でもどんな学歴経歴でも参加できます。
Quote
Satoshi Nakajima @MulmoCast
@snakajima
息子自慢ですが、Fastcompanyで紹介されているBabyAGI(世界初のGPTを活用したエージェント)を作ったのは私の長男です。VCなのに人工知能アプリを開発するという不思議な行動をしています。 fastcompany.com/90880294/auto-
「一連のシステム全体の最適化により、ChatGPTのコストを12月以来90%削減しました。これにより、私たちはAPIユーザーにその節約分を提供するようになりました。」 私がOpenAIに入ろうと決めた時ChatGPTを知りませんでしたが、この様な開発力があるオールスターチームなので入りました。
Image