22歳の天才エンジニア「Claude Mythos」を推測でほぼ完コピ、無料で公開する
ビジネス＋IT配信
コメントを書く
自分のコメント(マイページ)
コメント93件
- おすすめ順
- 新着順
このコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
新しいトランスフォーマーのアーキテクチャ(構造)って、別に誰でも作れるんです。ただし性能が出るかはパラメータ数を少しづつ増やして実際に学習させていかなければ分からない。モデル構造だけでなく学習段階での工夫も非常に重要です。 そもそもアンスロピックが一切情報を公開していないのだから、内部からのリークでない限り「完コピ」なんてことはあり得ない。記事化のために誇張してるように感じます
ログインして返信コメントを書くこのコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
＞7億7000万パラメータの小規模構成で、13億パラメータのモデルに匹敵する推論性能を示す。 要は「Mythosに使われているであろう技術で小型モデルを作ったら優秀だった」という話で、Mythosの性能がぶっ飛んでいる理由の裏付けにはなったけど、流石に10兆パラメータと推測されているMythos本体と張り合える代物ではない 密度化の法則に基づけば同等性能を出すのに必要なパラメータ数は約3.5か月で半減するわけだから、当然他社もすぐに追随してくるでしょ
ログインして返信コメントを書くこのコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
もし悪意を持った個人または集団がによって、オフライン環境で秘密裏に開発が行われていたら、ある日、世界崩壊をもくろむ暴走するAIが放出される可能性もあります。 実際に、これらは国際的に懸念されていることでもあります。 10代の天才AI開発者も存在しており、悪意なく無自覚に行われる可能性すらあります。 何が問題かって、明確な規制がないことです。
ログインして返信コメントを書くこのコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
22歳がMythos級モデルを推測でほぼ再現して無料公開というのは、技術力ももちろんですが、それ以上に「AIの非対称性」が極端になってきた象徴だと思います。 大企業が何百億円かけて作るモデルと、個人が短期間で作るモデルの差が急速に縮まりつつある。 この状況で本当に必要なのは、才能のある若者を叩くことではなく、社会としてどう安全に活用し、どうリスクを管理するかの議論だと感じます。
ログインして返信コメントを書くこのコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
このアーキテクチャ(Recurrent-Depth Transformer)が本当にMythosのアーキテクチャに類似したものなのかは不明ですが、考え、仮説を立て、実装し、公開し、多くの人の評価に晒した、そのこと自体が素晴らしいと思います。 かつてLinus TorvaldsがLinuxの初期バージョンを公開したのは21歳の時でした。それは設計や実装が特別洗練されたものではなく、その分野の著名な大学教授から批判を受けることもありました。しかし、誰でも利用・改変できるUNIX系カーネルとして多くの開発者を惹きつけ、当時一部の大企業が支配していたUNIXを民主化し、結果として今世紀の情報革命を支える社会基盤となりました。 Open Mythosプロジェクトが今後どのような発展を遂げるかはまだ分かりません。しかし、このアプローチは、同様の現象を引き起こす可能性を秘めているように思います。
ログインして返信コメントを書くこのコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
ミトス よりも少ない パラメータで 同程度の推論能力を持つモデルを開発したのであれば完コピ じゃないですよね。どう考えても上回ってますよね。 だいたい ミトスのアーキテクチャーが公開されていないのだからコピーしようがなく開発した本人もいわゆるコピー≒模倣したとは思ってないでしょう。既存技術で想定しうる最善のアーキテクチャーを推測し、さらにそれを改良したからこそ性能で上回ったのであれば天才なのは間違いないなと思います
ログインして返信コメントを書くこのコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
Claude Mythosの推定アーキテクチャを再現した「OpenMythos」が公開された。22歳のKye Gomez氏が公開論文をもとにPyTorchで構築したもので、ループ型トランスフォーマー＋MoEにより7.7億パラメータで13億相当の性能を実現するとされる。 ただし実態は「Mythosがこういう構造ではないか」という仮説の実装にすぎず、Anthropicはアーキテクチャを一切公開していないため、再現の正確性は誰にも検証できない。また開発者のGomez氏には過去にコード盗用疑惑・誇大主張など複数の信頼性問題があり、記事はこれを一切触れていない。 記事の骨格となる事実は正確です。ただし「推測の実装」を「再現」と誇張したフレーミングには注意が必要で、割り引いて読むべき内容と言える。
ログインして返信コメントを書くこのコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
完コピかどうかはどうでも良くて、ちゃんと基礎があって論文読んで、様々に点として存在する知見や技術を論理的に選び出して組み合わせられるアーキテクチャ能力は素直に凄い。 そして、半分のパラメーターで倍くらいのパラメーターのモデルと同等の性能が出ること、無駄な計算を省くように自律的に動的にチューニングできる事は物凄く価値がある。 今のAIはデータセンター増強で資本と物理の力技で規模の拡大合戦になっている。 それに伴い電力と水を爆発的に消費しており、送電網や川などの利用について世界各地で紛争レベルで火種化しつつある。 AIのデータセンター型の駆動は資源をバカ食いしている時点で持続可能性的にリスクが高まる一方。 なので、この様に高性能てかつ高効率でエッジで利用できる可能性があるAIはクラウドからエッジへの流れの中で、これから非常に価値が高まる。
ログインして返信コメントを書くこのコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
22歳の個人が、大企業しか持ってないAIを“推測だけ”で再現し始めてるの凄い時代だな…。 しかも無料公開。 昔は、 「大企業だからできる」 だったのに、 今は 「理解した個人がひっくり返す」 時代になってきてる気がする。 AIの進化って、 たぶんみんなが思ってるより遥かに速い。
ログインして返信コメントを書くこのコメントを削除しますか？
- このユーザーのコメントを非表示にする今後このユーザーのコメントは表示されなくなります
- このコメントを報告する
「公開された学術論文の理論を直接コードとして実装する手法を徹底」 「高度な未公開モデルであっても、既存研究の延長線上でアーキテクチャのリバースエンジニアリングが可能であることが実証された形となる。」 それなら学術論文自体公開を止める動きが加速するんじゃないか。なんでもかんでもオープンにしようという思想を持つハッカーは少なくないようだが、そういう不穏分子（）の影響力を削ごうとするのが社会である。
ログインして返信コメントを書く
