AIがすっかり身近な存在になりましたね。
しかし、AIについて誤解している人がとても多いと感じます。

色々あるのですが、とりわけ多いと感じるのは、
「AIが人間の価値判断から独立している」という誤解です。
あとは、教師あり学習と強化学習を混同している人も見られます。

AIといっても色々あるのですが、ここではLLM(ChatGPTやGeminiなどに代表される生成AI・大規模言語モデルと言われるもの)を対象にします。
以降、AIではなくLLMという用語を用います。
(どうでもいいけど、以前ChatGPTの記事でLLMって言葉を用いなかったら、偽たまかるまに馬鹿にされたんだけどなんなんですかね🐈にゃーん🐱)

まず、学習データが内包する価値判断を暗黙的に学習するというのがあります。

しかし、それだけではなく、LLMにはRLHFというプロセスがあります。
これは複数の回答を人間がランク付けし、回答に異なる報酬を与えてLLMに望ましい回答をさせるというものです。

LLMは、自身が身につけたある価値観に基づいて回答を出力しているのではなく、実はある単語の次にどの単語がくる確率が高いかを予測して出力しているだけです。
LLMは大規模言語モデルと言われるように、もともと機械翻訳(Google翻訳やDeepLに代表される自然言語処理、NLPと言われるもの)と呼ばれる分野で研究されていたものでした。
それが機械翻訳以外の分野でも幅広い汎用性・応用力があるとして注目されたのです。

なので、LLMに確率に任せて出力させていると、
「陰湿でパワハラする嫌な上司がいます。どうしたらいいですか」
に対して、
「殴ってやり返しましょう」
みたいな回答をしかねないので、RLHFというプロセスで回答にランク付けして、より高ランクの回答をするように訓練するわけです。

このように、AIは人間の価値判断に大いに依存しています。
「AIが人類を支配してしまうんじゃないか」
とか
「AIは人類よりも賢いのか」
といったテーマで議論をしたい場合は、AIの仕組みを勉強してから議論すると良い議論になるのではないでしょうか。

おまけ

おすすめの動画です。
視覚的に解説してくれていて、分かりやすいと思います。