下読みの新時代？ AIを使った詳しい小説批評（無料で可能）
はじめに
ChatGPTのサービスが始まった頃より、生成AIによって小説の批評や分類、推薦を自動化できないかと考えていました。しかし、実際にそれらを行おうとすると、文字数の制限や能力不足により不十分と感じていました。
しかし、その状況が2024年5月下旬に一変します。GoogleによるGemini(ジェミニ) 1.5 Proのリリースです。
簡単に言うと、分析能力の向上に加え、取り扱える文章量が100万文字に増えていたのです。
Gemini 1.5 Proは分析能力に関してかなり優秀です。また、現在のGemini 1.5 Proでは日本語で200万文字を処理できます。
これは単行本だと20冊分にもなります。その分量の小説を一度に批評できます。
AIによる実際の小説批評
以下のファイルは、Claude 3.5 Sonnet(New)で生成した短編小説『桃太郎異聞、きび団子の契りは永遠に ～敗れし英雄、鬼を知る旅の果て～』の批評です。
※興味なければこの批評はダウンロードしてまで読む必要はありません
かなり詳細な批評なので分かりにくいですが、基本的には以下の5項目によって批評を行っていっています。
要約・タイトル: いくつかの要約や一行での概要、タイトルと概要の一致率、ジャンルなどを評価
チェックリスト: リビジョンチェックリストと呼ばれる、基本的なチェック項目の達成度を評価
項目別評価: プロット、キャラクター、テーマ、構成、設定、文体、物語の没入感、対話、独創性、感情的影響、全体的な楽しさ、物語の安心感、流行、について6人評論家+まとめによって評価
総合評価: 3を踏まえて6人評論家+まとめによる小説全体として評価。流行を除いた評価、エンターテイメントとしての評価も行う
総論: これまでの評価を踏まえて800文字から1000文字程度の文章で論じる
ポイントは以下の6人のタイプの異なる評論家によって、小説の評価を行うというものです。これにより、求めている方向性に近い評価を得ることが可能になっています。
厳格タイプ: 全体的なレベルの高さを重要視し、マイナス点を嫌う
楽しさ重視: 細かな文法などよりも感情を揺さぶられ読む手が止まらない楽しい小説かどうかを重要視
商人タイプ: 現代で商業的に成功するかどうかを主眼に判断する。小説としてのレベルの高さは最低限のみの評価。トレンドや楽しさ、その上での少しの独創性を重要視
独創性重視: 基本的なレベルを押さえた上で、如何に独創性を出せているか見たことのないアイデアが投入されているかを重要視
暇潰し重視: 暇を潰すための最適な小説を求める。導入で一気に引き込まれ適度な分かりやすい刺激と平易な文体や安心な展開を重要視
文学性重視: 文体の美しさ、比喩や象徴の使用、テーマの深さ、人間性の洞察などを重点的に評価する。商業的成功や娯楽性よりも、作品の芸術的・文化的価値を重要視
評価する項目も、前述したように多岐にわたり、その基準についても詳細にプロンプトで設定しています。
また、評価の際に点数を付けていますが、7回読んでもらい、都度点数を付け、最高点と最低点を省いた上で平均点を最終評価とするなど、なるべく一定の評価になるように工夫しています。
なお、この批評を行うプロンプトは全体で約3万文字あります。
評価は以下のような区分となっています。
愚作: 0～34点、全体中0.9%（読むに耐えない代物）
駄作: 35～52点、全体中18.0%（稚拙で完成度が低い）
凡作: 53～66点、全体中62.2%（平均的だが特筆すべき点に欠ける）
良作: 67～72点、全体中11.8%（一定の質を維持している）
秀作: 73～78点、全体中4.5%（高い完成度で評価に値する）
佳作: 79～84点、全体中1.7%（優れた出来栄えで印象に残る）
名作: 85～90点、全体中0.6%（時代を超えて高く評価される）
傑作: 91～96点、全体中0.2%（類まれな完成度で感動を呼ぶ）
超傑作: 97～100点、全体中0.1%（比類なき芸術性と普遍的価値を持つ）
上記の桃太郎異聞については、まとめの総合評価は70点で良作に分類されています。なお、桃太郎異聞は3万5千文字程度と5万文字を下回るため、本プロンプトの傾向により、比較的評価は高くなっている可能性があります。
点数についてはともかく、批評の内容に関しては、様々な視点から行われており個人的には納得のできることが多いです。
批評を行うための手順
批評を行うための手順、そして最後に生成AIへの指示（プロンプト）を記述します。
手順1: Google AI Studioにサインアップ
まず、使用するのは、Google AI Studioの『Gemini 1.5 Pro』です。これ以外は想定していません。なぜなら、分量の多い文章を取りこぼしなく、日本語の精度の高い分析が行えるがこれしかないからです。
同じGeminiを使っているはずの、Gemini(旧Bard)やNotebook LMは性能が低いのでお勧めしません。必ず、Google AI Studio上のGemini 1.5 Proを使ってください。登録や使用は無料です。
手順2: 事前の設定
Google AI Studioが使用可能になったら、まずは右のパネルの『Model』を『Gemini 1.5 Pro』(Gemini 1.5 Proの新しいバージョンが出ていればそれを使う)に変更してください。
次に同じく右のパネルに存在する、『Advanced settings』を開き、『Edit safely settings』をクリックします。ダイアログが出てくるので、インジケーターを全部左に寄せてBlock noneにしてください。平たく言うと規制を解除しています。
手順3: 小説のアップロード
次に小説をGoogle AI Studioへアップロードします。小説の全文が入ったテキストファイル、もしくはPDFファイルをGoogle AI Studio画面、中央下部の『◆Run』付近にD&Dしてください。テキストファイルは文字コードがUTF-8である必要があります。
『小説家になろう』などであれば、作品の投稿者の場合は、作品の投稿ページの『管理』メニューの『テキスト形式でダウンロード』から全文をダウンロード可能です。
いいね、感想、レビューのチェックは外して、ダウンロードしてください。
ダウンロード後は、ZIPファイルからTXTファイルを取り出し、TXTファイルのみGoogle AI Studioへアップロードしてください。
詳しくは、小説家になろうの以下のページを参照してください。
小説家になろうヘルプセンター - 投稿済み作品テキストダウンロード
https://syosetu.com/helpcenter/helppage/helppageid/90/
手順4: 小説批評プロンプトの貼り付け
次にプロンプトを貼り付けます。
下記の記事のプロンプトを全てクリップボードにコピーしてください。プロンプトが記述されている黒いフィールドの右上のアイコンをクリックすることでクリップボードにコピーできるはずです。
このクリップボードにコピーした内容を、Google AI Studioの中央下部の『◆Run』の左テキストフィールドにペーストします。
手順5: 小説の批評開始
その上で『◆Run』を押すと分析が始まります。分量にもよりますが30秒程度で分析が開始されると思います。
分析の途中で停止してしまったら、『生成を続けてください。』と入力して再度『◆Run』を押してください。
その他
余談として、このGoogle AI Studio上のGemini 1.5 Proの分析能力はかなり高いので、小説全文をアップロードしてから、キャラクターのプロフィール表を作成して欲しいとか、使っている能力の一覧だとか、小説内のキャラ同士の事実関係などを聞きたいときはかなり有用です。
長編小説を書いている方などには執筆していく内に細かな内容を忘れることもあるので大変役に立つと思われます。忘れてしまった設定やエピソードなども聞けばかなり正確に答えてくれます。
批評プロンプトについて
小説批評プロンプトは以下の記事中にあります。
本批評プロンプトは2024年6月くらいに出来てはいましたが、プロンプトの公開やサービスに踏み切れなかったのにはいくつか理由があります。それはそのままこのプロンプトの弱点にもなっています。
まず、精度が担保できていないことです。なるべく、似た結果が出るように工夫はしているのですがどうしても毎回結果が異なります。そのため、結果はあくまで参考程度にしてください。
他にもいくつかあります。
5万文字以下の短編小説は比較的評価が高くなってしまう
分析結果の分量が多い
評価点と結びついている『凡作』や『良作』などの判定が正しくないことがある（例えば、作品の評価80点で『佳作』のはずなのに、73点から78点の『秀作』扱いされてしまうことがある）
ジャンル判定が必ずしも正しくない（舞台がゲーム世界でないのに、ゲーム世界転生として扱われたりする）
人間の感覚とどうしても評価軸が異なる。特に独創性などに関する評価が異なる
マーケティング的なアドバイスが組み込めなかった
小説以外のものがアップロードされた場合について全く考慮していない
プロンプトの工夫等
本批評プロンプトでは他ではあまり見られない工夫をしています。
評価を、6人+まとめの仮想評論家によって行わせることにより、想定する読者層に近い評論家を参考することができるようになっている
評価基準はAIに任せるのではなく、文章として具体的な基準を列挙することで評価の質を担保
一部疑似的なプログラムコードで判定を行っている
同一の評価を7回行い、最高点と最低点を省いた上で平均値を取ることにより、評価があまりブレないようにしている
評価比率の基準にフィボナッチ数的な比率を取り入れることによって、数字に意味を持たせている
注意事項
Google AI Studioを使用する場合、Google利用規約・Google APIs利用規約・Gemini API追加利用規約への同意が必要になります。2024年11月現在、規約によるとGoogle AI Studioの利用は18歳以上に限られます。また、同規約によるとユーザーによって作成されたオリジナルコンテンツの所有権はユーザー側にありますが、無料での使用の場合、ユーザーが送信したコンテンツや生成したコンテンツはGoogleの他のサービスに利用される可能性があります。詳しくは各利用規約をご覧ください。
これは私からのお願いですが、小説の作者が望んでいないのにも関わらず生成された批評を公開・直接送信することは慎むように切に願います。
また、本プロンプトを使用して発生した問題については一切の責任を負わないものとします。
プロンプトの権利について
本記事に記述されているプロンプトはバブリックドメインとし権利を放棄します。使用・配布・改変・改変したものの再配布・実演等など自由です。クリエイティブ・コモンズ・ライセンスとしては『CC0』とします。
コメント