第百三回:ChatGPTさんに対する私の評価(2024年8月時点)
今日は2024年8月28日です。まだ暑いですが、そろそろ夏も終わりですかね。秋も美味しい食べ物がいっぱいなので今から楽しみです。今年は秋刀魚、松茸、鱧あたりが食べたいな~と思っています。そんな与太話をしたところで今回もゆるく行ってみましょう。超不定期連載「分かりそう」で「分からない」でも「分かった」気になれるITコラムでございまぁす。このコーナーでは、各用語の説明ページでは取り上げにくいIT関連のネタをテーマに、だらだらと思いついたことを書いていきます。みなさんが「あぁ、なんか役に立ちそうな気もするけど、役に立たないかなぁ。でも、もしかしたら役に立つかも」と思える情報を発信できるように頑張ります!
はじめに
栄えある百三回目のテーマは……ピヨピヨピヨピヨ(ぴよぴよ的ドラムロール)……じゃん!
ChatGPTさんに対する私の評価(2024年8月時点)
です。
今回はコラムというより備忘録です。
元々、私はChatGPTがそんなに便利だと思っていません。
技術的にはスゴいと思いますけどね。
今のところ(私の)お仕事における実用性は、そんなに高くないと思っています。
とはいえ、世間では、もてはやされています。
「私の知らない便利な使い方があるのかな(--?」と思ったので、ChatGPT関連の本を3冊読んで、実際にChatGPTを触ってみました。
その結果感じた、ChatGPTさんに対する私の評価をズラズラっと書いてみます。
なお、お忙しい人に向けて先に結論を書いておくと、今回のコラムの結論は
現時点のChatGPTさんは「間違ったことを言われても問題ない」「間違ったことを言われたら察知できる」分野なら使える。それ以外の分野では使えない。
です。
最後まで読んでくださる方は、この結論を知らないことにして読み進めてください。
「ChatGPTさん、良いじゃん!」と思った部分
技術的にスゴいのは前提として、私が「ChatGPTさん、良いじゃん!」と思った部分は
口が上手い
点です。
内容が正しいかはともかく、正しそうなことをかなりの確率で言ってくれます。
そのため
1.間違ったことを言われても問題ない
2.間違ったことを言われたら察知できる
分野では、かなり使えるやつだな~と思いました。
例えば、そうですね。
私がChatGPTさんを使って本を書くとしましょう。
「本のタイトルは何にしようかな?」はChatGPTさんに頼れます。
「本のタイトル」に正解はないからです。
ChatGPTさんに何かそれっぽいのを考えてもらっても(著作権的なチェックは必要ですが)それほど問題はないでしょう。
また、私が書く本のジャンルがIT系であれば、本文をChatGPTさんに書いてもらうのもアリな気がします。
もしChatGPTさんが間違ったことを書いても「あれ?これ、おかしくね?」と私が訂正できるからです。
まずChatGPTさんに書いてもらって、その文書の間違いを私が訂正する形でも、そこそこ正しい内容になるでしょう。
これが料理の本になると、話が変わってきます。
私は料理関係に詳しくないので、もしChatGPTさんが「ここで醤油を大さじ10入れます」とか書いても「さすがに大さじ10は多くない?」みたいな訂正ができません。
結果として、ChatGPTさんが書いた(正しいか間違いか分からない)文章が、そのまま本になってしまうと思います。
そんな感じで
1.間違ったことを言われても問題ない
2.間違ったことを言われたら察知できる
分野におけるChatGPTさんの活用法は私でも想像できました。
例えば
1.話し相手になってもらってインスピレーションを得る(ラバーダッキング法的な使い方)
2.ロールプレイをしてもらって面接対策的なことをする
3.ブレインストーミング的にアイディア出しをしてもらう
4.自分の得意分野に関する補助(調べ物とか、たたき台を作ってもらうとか)をしてもらう
などです。
1~3は「間違ったことを言われても問題ない」分野での活用ですね。
そもそも正解がないので、ChatGPTさんがおかしなことを言っても大怪我はしません。
間違ったことを言われるデメリットよりも、脳みそを刺激されるメリットの方が大きいはずです。
4は「間違ったことを言われたら察知できる」分野での活用です。
「ChatGPTさんは間違う」というのを前提として、ChatGPTさんが間違ったときにそれを捕捉・訂正できる体制を整え、その上で、間違いを訂正する手間よりも作業時間・手間の短縮によるメリットの方が大きい作業ならChatGPTさんが活躍できそうだと感じました。
これが、私が「ChatGPTさん、良いじゃん!」と思った部分です。
次に「ChatGPTさん、使えねー!」と思った部分について話します。
「ChatGPTさん、使えねー!」と思った部分
技術的にスゴいのは前提として、私が「ChatGPTさん、使えねー!」と思った部分は
間違ったことを(もっともらしい感じで)平気で言う
点です。
そのため、ChatGPTさんの言うことが私は信用できません。
留意事項として、そもそもの話「間違ったことを言わない」は、あり得ません。
間違ったことを平気で言うのは人間だって同じです。
ChatGPTさんだけでは、ありません。
それを前提として、相手の話が信用できるか否かは、相手の人柄や相手との関係性など、発言内容以外の要素にも大きく左右されます。
それを踏まえて、私はChatGPTさんの言うことを何となく6~7割くらい信用しています。
「あれ?思ったより、ちゃんとしたことを言うね。……と思ったけど、やっぱり結構、間違えるな。でも、そこまで的外れなことを言うわけでもないじゃん」です。
根拠はありませんが、世間での評価もそれくらいかな~と思っています。
みなさん、自分自身はChatGPTさんの言うことを結構信用しちゃうけど、他人から根拠を求められたときに「ChatGPTさんが言っていたよ!」とか言っても通用しないだろうな~と思っているくらいの空気感ではないでしょうか。
技術が発展して、そこら辺の信用もある程度、担保されるようになれば、私の評価も変わるでしょうけどね。
少なくとも現時点では
ChatGPTさんは結構、間違ったことを言うぞ。しかも、さも「これが正しい」みたいな空気感を出しながら言うぞ
という印象です。
そのため、ChatGPTさんに何かを「教えてもらう」ような使い方は、世間で言われているほど実用的ではない気がしました。
ChatGPTさんの言っていることが正しいか検証する必要があるからです。
例えば、私が読んだ本では、3冊とも、ChatGPTさんに
1.翻訳させる
2.要約させる
3.分析させる
使い方を紹介していました。
私は、これがあまり実用的ではない気がするのです。
ChatGPTさんに翻訳してもらっても、訳文が正しい保証はありません。
ついでに、ChatGPTさんは翻訳内容に責任を負ってくれません。
もし、これが大事な契約書だったとしたら、あなたはChatGPTさんの翻訳内容をそのまま信用できますか?
その気になれば翻訳前の言語を読める人が、手抜きをするためにChatGPTさんに翻訳してもらうのはアリだと思いますけどね。
翻訳前の言語を読めない人がChatGPTさんに翻訳してもらっても、翻訳内容の検証手段がないと実用的ではない気がします。
要約も同じです。
ChatGPTさんに要約してもらっても、その内容が正しい保証はありません。
ついでに、ChatGPTさんは要約した内容に責任を負ってくれません。
もし、これがビジネス上の大事なやり取りのメールだったとしたら、あなたはChatGPTさんが要約した内容を信用できますか?
とはいえ、要約した内容が正しいか判断するために原文を読むのでは二度手間です。
だったら最初から原文を読んだ方が話が早い気がするのです。
ChatGPTさんに分析してもらうのは「間違ったことを言われたら察知できる」分野ならアリだと思います。
でも、そうじゃないなら、分析結果の精度や内容を検証できませんよね。
ChatGPTさんの分析結果を見て「ふーん、そーなんだ(--)」で鵜呑みにしちゃうような分野なら、ChatGPTさんに分析してもらうのは危険な気がします。
突き詰めると「ChatGPTさんの言うことを、どこまで信用するか?」という話になると思うのですけどね。
少なくとも私は、現時点のChatGPTさんが言うことを、検証なしで信用するのは怖かったりします。
まとめ
今回は
ChatGPTさんに対する私の評価(2024年8月時点)
というテーマで好き勝手に語ってみました。
今回のコラムの結論は
現時点のChatGPTさんは「間違ったことを言われても問題ない」「間違ったことを言われたら察知できる」分野なら使える。それ以外の分野では使えない。
です。
ChatGPTさんは口が上手いです。
そこそこ正しいことも言いますし、受け答えも自然です。
1.間違ったことを言われても問題ない
2.間違ったことを言われたら察知できる
分野では、かなり使えるやつだな~と思いました。
例えば
1.話し相手になってもらってインスピレーションを得る
2.ロールプレイをしてもらって面接対策的なことをする
3.ブレインストーミング的にアイディア出しをしてもらう
4.自分の得意分野に関する補助(調べ物とか、たたき台を作ってもらうとか)をしてもらう
などの使い方は有用だと思います。
一方、間違ったことを(もっともらしい感じで)平気で言うやつでもあります。
そのため、ChatGPTさんに何かを「教えてもらう」ような使い方は、世間で言われているほど実用的ではない気がしました。
理由は、(特にビジネスの場では)ChatGPTさんの言うことが正しいか検証する作業が必要になるからです。
私のChatGPTさんに対する印象は、一言でまとめると
優秀なポンコツ
です。
とても可能性を感じる一方で
間違ったことを(もっともらしい感じで)平気で言う
点をどのようにカバーするかが(ChatGPTさんを使う側の)肝だと考えています。
そのため「現在のChatGPTさんは世間で過大評価されているよな~」と感じました。
理由は「ChatGPTさんが正しいことを言う」ことを前提とした活用法が、いろんなところで紹介されているからです。
「ChatGPTさんが間違ったことも言う」のを前提として、それでも問題が生じない使い方こそが、ChatGPTさんの実用的な使い方だと私は考えます。
……とか書いたけど、半年後くらいにChatGPTさんがほとんど間違えなくなっていたらゴメンね(-人-)
最近の技術の進歩って速いからねー。
おまけ
このコラムをChatGPTさんに500文字で要約してもらいました。
以下に記載します。
このコラムでは、2024年8月時点のChatGPTに対する評価を述べています。著者はChatGPTの技術的な凄さを認めつつも、実用性に疑問を感じています。ChatGPTは「間違ったことを言われても問題ない」「間違ったことを言われたら察知できる」分野では有用で、インスピレーションを得たり、アイデア出しに役立つと評価しています。しかし、「もっともらしい誤情報を言う」点が大きな欠点であり、特にビジネス用途では信頼性が低いと感じています。そのため、ChatGPTは過大評価されていると指摘しています。
結構ちゃんと要約してくれましたっ(ノ∀`)
ChatGPTさん、やるじゃん!
思いつきで始めて惰性で続けている「分かりそう」で「分からない」でも「分かった」気になれるITコラムですが、いかがでしたでしょうか。また何かネタがあったら、ちまちまと更新していきます。コンゴトモヨロシク。