自己回帰モデルについて、ちょっと気になったことがあるので教えてください。 拡散モデルって、ノイズから段階的に徐々に情報を復元していく仕組みで、明確なステップがありますよね。でも自己回帰モデルの場合は、1つずつ順番にトークンを出力していく仕組みだから、「順序」はもちろんあるけれど、拡散モデルみたいな「段階的なステップ」という表現はちょっと違う気がしてます。 もし自己回帰モデルにも拡散モデルのような「段階的なステップ」があるなら、その根拠を教えてもらえると助かります! あと、もしかして僕の伝え方がちょっとキツかったりしましたか?もし何か怒らせてしまったなら本当にごめんなさい。よかったら理由を教えてくださいね。
2025-03-27 12:22:39@masamune_sakaki 逆に質問しますが、あなたは「段階的なステップ」をどのように定義していますか?曖昧な定義では返答できかねます。 最も広義には、中間状態を持つすべてのモデルが「段階的なステップ」を持てるといえるでしょう。 議論を始める前に、定義の認識合わせを行う癖をつけてください。
2025-03-27 12:37:33@masamune_sakaki 私は (1) 定義が明確でないので、適切な返答はできない (2) 現時点でもっともらしい回答を提示 の 2 点を実施しています。つまり、可能な範囲での回答義務は果たしています。 あなたはどのような回答を期待しているのですか? 自身の言語化能力不足を他責しないでください。
2025-03-27 12:45:56根拠厨の攻撃性が露呈
あのですね、私が言っているのはStable Diffusionなどの拡散モデルで設定するような「ステップ数」の話です。自己回帰モデルは原理的に、前のピクセルやトークンから順番に埋めていく仕組みなので、仮に「ステップ数」を途中で切ったら単純に歯抜けになるだけですよね? そもそも自己回帰モデルを実際に触ったことがないのなら、間違った情報で人の話を否定するのはやめてもらえますか?これは理論的に考えれば、小学生でも理解できるレベルの話だと思いますけどね。
2025-03-27 12:46:53@masamune_sakaki やっと明確な定義が出てきましたね。 つまり、あなたはコンテンツの全要素が徐々に変化するものを「ステップ数」と呼んでいて、一つずつ確定させるようなものはこの定義に当てはまらないのではないか?と問うているわけですね? (これを定義の認識合わせといいます)
2025-03-27 13:01:10根拠厨、ダメ出しされる(当然である)
@masamune_sakaki ありがとうございます。あなたがその定義を用いているのであれば、自己回帰モデルに「段階的なステップ」は存在しません。 私はより広い概念としてとらえていたので、そこに認識の相違がありました。 したがって、自己回帰モデルがあなたのいう「段階的なステップ」である根拠を私は持っていません。
2025-03-27 13:16:23@masamune_sakaki あと、これは親切心なのですが、相手の属性を決めつけて非難する行為は誹謗中傷に当たる可能性があるので、慎重になったほうが良いですよ。 私が自己回帰モデルを触っていないという情報は一度も出てこなかったですし。
2025-03-27 13:17:31認識合わせ完了
これまでの議論が「高み」へと到達したことを、高らかに宣言
怒涛の難癖
@masamune_sakaki こちらこそお疲れさまでした。 これで「自己回帰モデルは中間段階がない」ことを証明できました。 残りは「自己回帰モデルは検知しにくい」ことと「拡散モデルは検知しやすい」を証明できれば、明確な技術的事実に基づいた強いファクトになります。
2025-03-27 13:23:32納得いかない様子の根拠厨
自己回帰モデルは検知しにくいについては、外部観察によるもので、実際にエラーが出るケースがある程度描き上げてからなので、人間が視認できるレベルまで描き上がってしまうことを検知しにくい表現しています。拡散モデルは、人間が見てわからない段階でヤバそうだなと言う検知が可能です。実際に外部観察から検証可能です。私は死ぬほど描かせてるのでどちらも体感してます。
2025-03-27 13:27:26@masamune_sakaki つまり、検知に主張は「明確な技術的事実」ではなく「主観に基づく経験的事実」ということでしょうか? 後者は一般に「意見」、良くて「推測」と呼ばれるものです。これは「明確な技術的事実」と区別されるものです。 あなたは、これを論拠として「強くファクト(事実)」を主張していたのですか?
2025-03-27 13:33:03技術的には強くファクトですが、外部観察からの挙動は、推測ではなく、こちらもファクトと言って差し支えない情報です。ファクトじゃ無いのは、なぜOpen AIは、描画を見せずにエラーを出すシステムにしなかったのかの方です。この話を私はしてなくて、それは流石に推測になるからです。なので、検知出来る方法はあるかもしれないが技術的にも外部観察からも確認されてないと言う事です。
2025-03-27 13:36:28@masamune_sakaki まず >こちらもファクトと言って差し支えない情報です と曖昧さを含んだ表現を採用した時点で「強くファクト」の主張が崩れたことは自覚しましょう。 そのうえで、これまでのやり取りから「技術的に強くファクト」は示されていません。 「ファクト」は念仏ではないので、唱えるだけでは実現しません。
2025-03-27 14:02:38うまいことを言った(と思い込んで)満足してそうな根拠厨
https://x.com/nijijourney/status/1799183026729193810 ニジシャーニーはもう1年近く前から日本語出せるよ
内容ほとんど読んでないけど「SNSで議論なんかしようとするとかあほだなあ」としか。