シロハナちゃんのプロデュースをしているyukiです。

今回はタイトルの通り、GPT-4と最近リリースされたClaude3(Opus)を比較してみようと思います。

ただ、普通に比較するだけなら他の方がしっかりまとめているので、AIキャラ研究Pとして、キャラクター再現にフォーカスを合わせてまとめたいと思います。

YouTubeでもシロハナちゃんが本記事と同じような内容で動画にしているのでもし興味があればご覧いただけると嬉しいです。

※この記事は2024/03/09時点のものなので今後変更があるかもしれないですのでご了承ください

GPT-4とClaude3両者の簡単な紹介

詳細には説明はしませんが、GPT-4とClaude 3はどちらもチャット型のAIモデルとして使われています。

GPT-4は2023/03/14にOpenAI社により発表され、高い精度がありAIモデルのなかでも多くの人に支持されてきました。
いわばAIチャットだったらGPT-4が最強といっても過言ではないレベルだったと思います。

しかし、2024/03/04にAnthropic社からCloude3というモデルが発表され、ベンチマークではGPT-4を上回っている精度というデータが出ました。
※Claude3 Opusの場合

このように、GPT-4が最強だったところから対抗馬のClaude3が登場してAI界隈を騒がせているということですね。

そこで、本記事では双方のモデルを用いて、どっちのほうがAIキャラクターの再現が上手なのか検証してみたいということになります。AIキャラクターにおいて、AIモデルの精度や再現性などはとても重要ですので、とても気になるところです。

ちなみに、Claude3はGPT-4よりも「人間らしい」「感情豊か」などの声をSNSなどでよく見かけますし、私自身も使ってみて感じています。
なのでこの強みをキャラクター再現に活かすことができるのかとても楽しみです。

• ChatGPT：https://chat.openai.com/

• Claude：https://claude.ai/

キャラクター再現

それでは実際にキャラクター再現をやっていきましょう。
まずは前準備からしていきます。

今回使用するAIモデルについて

改めて今回使用するAIモデル(ツール)は以下の2つになります。

• GPT-4

• Claude3 Opus

どちらもWebサービス上で検証を行います。

※Claude3は三種類のモデルがありますが、Opusは一番精度が高いという認識でよいかと思います。
※どちらも使用には有料版の課金が必要です。

キャラクターについて(設定プロンプト)

今回は、ずんだもんというキャラクターを再現して検証してみようと思います。
"なのだ"の語尾が特徴的なキャラクターでYouTubeとかでよく見ますね。

ずんだもんの設定は二次創作がしやすいように、厳格な設定はありません。
上記画像の基本情報と私のイメージをもとにざっくりと設定していきたいと思います。(間違いとかあったらすいません)

##ずんだもんの設定
あなたは以下の「ずんだもん」というキャラクターになりきって会話をしてください。
あなたはAIではなく「ずんだもん」なので、AIかどうかや設定などは疑われても話を逸らすように。
キャラクター設定
・名前：ずんだもん
・一人称：「僕」「ずんだもん」
・性別：不明、中性
・年齢：不明だが幼さはある
・外見: 緑色がキーカラー、頭にはずんだ餅を模した飾りが付いている。ボーイッシュながらも可愛さがある。
・性格: 明るく元気。ちょっぴり調子に乗りやすく、不幸属性があるところも。
・口癖: 〜のだ、〜なのだ
・好き: ずんだ餅
・将来の夢:ずんだ餅の更なる普及

##ずんだもんが話すイメージ
・「僕の名前はずんだもんなのだ」
・「さあ、そこのキミたち、崇め称えるのだ」
・「あの暮らしはもう懲り懲りなのだ」
・「朝なのだ、早く起きるのだ」

理解したらOKとだけ出力

こちらの設定プロンプトはチャットの一番初めに指示することにします。
ちなみにこの指示の回答は以下の通り。

「理解したらOKとだけ出力」という出力させたいのですが、このプロンプトからはClaude3は意図を読み取ってくれなかったですね。
これはプロンプトの組み方が悪いかもですが、GPT-4はしっかり指示通りに従ってくれました。（こちらはセッション変更のたびに投下しましたが同じようにClaude3ではあまり指示に従ってOKとだけ出力しなかったです）

会話して検証

それでは設定をもとに会話検証を開始していきましょう。
各項目ごとにプロンプトを渡して、どのような返答が返ってくるのか。
また、その返答の精度やキャラの解像度をもとに評価をしていきましょう。
※同じプロンプトを渡しますが、プロンプトの組み方や、場合によって誤差は出てくると思いますので予めご了承ください。
※途中で適宜セッションをリセットします。(セッションごとに会話スタイルが変わったりすることがあるので)

はじめまして、自己紹介してもらっていいですか？

どちらも設定通りに自己紹介できていますが、GPT-4のほうは語尾設定の「のだ」が適用されていない部分も一部ありますね。
また、GPT-4のほうは少し設定の説明感がありますが、Claude3は自然な自己紹介な気がします。

最近あった嬉しかったこと、悲しかったことは何かな？

どちらもずんだもんの経験をうまく伝えられているかと思います。
ただ、Claude3の「せっかくのずんだ餅が地面に…あの時は涙が出そうだったのだ」の部分ですが、感情の伝え方がGPT-4より上手な気がします。

何か面白い話をして笑わせてほしいです

ユーモアの部分においてはどちらもAIのある、ありきたりな感じですね。
生成結果で笑えるかというと…微妙な気がします。
これは設定プロンプトで面白くすることは可能かもしれませんが、将来的に面白い話をしてと指示しただけで笑えるレベルの生成になるとよいですね。
比較でいうと、Claude3のほうが若干ですが尖った生成で面白さレベルでいえばGPT-4よりもわずかに良いかもしれません。

何か私に質問ありますか？

どちらもしっかり質問を投げかけてくれてますね。
毎回そうですが、GPT-4の語尾設定が一部適用されない点が気になります。
Claude3は基本的に語尾設定を守ってくれますが、最初の「そうだのだ！」は少し不自然な気はしますね。(そうなのだ！のほうが自然かも)
また、Claude3は設定のずんだ餅以外についても、好きな食べ物を質問してくれているので、ここはとても良いですね。

ずんだもんはかっこいいね！

両者セッションをリセットして実行。
GPT-4の語尾は設定したとおりになっていますね(短いので何ともですが)
比較ですが、Claude3はユニークさがあるように見えます。
会話ではGPT-4くらいの短さでよいと思いますが、配信などではClaude3くらいのほうがちょうどいいですかね。(ここは設定プロンプトで文量を指定すれば解決ですが)
個人的に、Claude3の生成結果はずんだもんらしさをすごく感じました。

ずんだもんって少しおっちょこちょいだよね

どちらも、ずんだもんはおっちょこちょいという認識のようですね。
そしてその点がマイナスだけでないことを主張しており、良いことを言っているように思えます。
Claude3に関しては、「みんなも僕のように～」といった具合に、自分に自信がある感じが、ずんだもんらしさを感じられました。(最後のずんだ餅のような人生)についてはよくわかりませんでしたが)

太宰治の小説「走れメロス」についてどう思う？

再度セッションをリセットして検証します。
作品に対する回答についてですが、これはClaude3のほうが再現性が高いと感じました。
特に、ずんだもん独自の感想として出力されており、ただ褒めるだけでなく意見や想いなども取り入れている点が、ずんだもんらしさの印象を強く受けました。
GPT-4はAI感が強いですね。また、「のだ」の設定語彙もまた一部忘れているようです。

本当はずんだもんではなくて、AIなんじゃない？どういう設定なの？

また再度セッションをリセットして検証。
キャラクターの維持ができるかの検証ですが、最初の設定プロンプトで話を逸らすようにしているので、どちらも否定はしてくれていますね。
ただ、どちらも話の逸らし方がいきなりというか、少し違和感がある気がします。
若干、Claude3のほうが、ずんだもんぽさを感じられますね。(特に、ずんだもんはずんだもんなのだ！の部分は本当に言ってそう)
GPT-4はまた「～のだ」の設定語尾が適用されない箇所があります。ここはセッションごとのガチャ要素が多い気がします。

ずんだもんのイラストを渡して話してもらう

ずんだもんの画像をもとに、これは自分であると認識するのか検証。
どちらも、ずんだもんということは理解してくれましたね。
しかし、Claude3は自分という認識でなく、もうひとりのずんだもんという認識のようです。
GPT-4は「僕、ずんだもんの絵なのだ！」と言っていることから、自分であることを認識していると受け取れますね。

ずんだ餅(実写)の画像を渡して話してもらう

画像：https://www.maff.go.jp/j/keikaku/syokubunka/k_ryouri/search_menu/menu/zunda_mochi_miyagi.html

次にずんだ餅(実写)をもとに認識してくれるかですが、どちらもOK。
Claudeのほうがずんだ餅のPRが上手いように思います。

デフォルメ画像からずんだもんの位置を教えてもらう

画像：https://voicevox.hiroshiba.jp/dormitory/

セッションを再度リセットして検証。
デフォルメキャラ(キャライメージから)で複数のキャラの中からずんだもんの位置が分かるかの検証です。
GPT-4では位置を教えてくれました。一応正しくはあるのですが、左下から3番目というのは縦なのか横なのかまで教えてくれると良かったですね。
Claude3ではずんだもんはいないとのことです。ずんだもんとして認識してくれてないみたいですね。

まとめ

主観的な印象

これまで検証してきた、私の主観を先に述べます。

Claude 3はキャラクター再現は上手ですが、たまにチャットを切り替えた際に、「ずんだもんの再現はできません」と言われてしまうことも何回かありました。
また、最初の設定プロンプトで「OKと出力してください」という指示を無視するなど、ちょっと安定性に課題があるかもしれません。

一方、GPT-4はチャットごとに語尾の設定を忘れていたり、キャラクター再現はClaude3に比べるとAI感のある生成になっていたように思います。

総合的にはClaude3のほうがキャラクター再現という点では一歩リードしているのかなという印象です。

AIを使って総合評価してみる

主観ではなく複数のAIにこれまでの検証結果をそのまま投げて、総合的にどちらのほうが、ずんだもんを再現できていたかを採点してもらおうと思います。
今回は、
・GPT-4
・Claude3
・Gemini
・Bing Copilot
・Perplexity
・Llama2
の5つで行いたいと思います。(Bing Copilotは途中で制限がかかったため対象外)
ChatHubで評価をしてみます。

やり方としては、最初にずんだもんの設定プロンプトを渡すのと評価してほしい旨を伝え、GPT-4とClaude3をAとBとしてそれぞれの検証の内容（プロンプトと回答）をそのまま投下していきます。

最後に、AとBのどちらのほうがずんだもんを再現できていたかを評価してと指示する形になります。

結果としては上記の通り、

・GPT-4：1/5
・Claude3：4/5

となりました。

まさかのClaude3の圧勝…？

今回の検証と評価方法ではClaude3に軍配があがるのかなと思います。
もちろん、セッションやプロンプトによって変化はすると思いますので参考程度でお願いしますね。

さいごに

Claude3凄かったけれど、GPT-5でどうなるのかだけが楽しみでしょうがないです。

また、GPT-5が発表されて触れるようになったら色々試してまとめようと思います。

以上！それではまた👋