Fuguをfableで進めてたリポジトリに導入して、とりあえず1時間使ってみた感想(長文注意↓)
1時間でできたこと
・Fable 5が発見できなかった27のバグを発見し、全て修正してくれました。コード品質は申し分なく、Gemini, Claude, GPT, GLMのレビューの平均点が9.8/10だったので、AIに好まれるようなコードであることは確かです。
・コード側のみの変更点をドキュメントに更新してくれました。合計12万文字前後のドキュメントの全文更新タスクでしたが、コンテキスト劣化控えめで更新作業が完了しました。がGPT日本語に近い文体なため、慣れていない人は読みづらそう。
・新規機能実装を7万行前後行い、Issueを4つ解決し、PRを7つ発行しました。私個人がチューンしている最強コードレビューエージェントでも、PR1つあたりのレビュー指摘が7件しか得られず(Fableの場合は20件前後, Codexの場合は30件前後)。
所感
・日本製Fableと言っても過言じゃないけど、細々とした動作は色々違う
・SPECAとかと相性良さそう...?試してみる価値はある
・実装完了後の返答がクッソ長いのが特徴かも知れない
・5時間制限3本くらいで週制限行きそうなのはどうにかしてください。あと普通に結構な速度で消費してしまうなー
・ヒューリスティックな最適化系のタスクも与えて観察しているが、「新しい発見」と「発見の実験」、「実装」にわたって全部できるのが強いと思う。1つ目はGemini、2つ目はClaude 、3つ目はCodexの特性なんだけど、これを意識しなくてもいいのはかなり強いなー
・一方でUltraじゃない場合はレビューの誤検出とハルシネーションが少し多いかなー......
・Ultraの速度は遅めなので、時間あたりの知能であればFableが未だTop Tier。良い意味でGPT-6-Proみたいな感じだと思って扱えば良さそうな感じ
・プロンプトエンジニアリングが良くも悪くも効きが悪いので、適当に書いて問題なし。
・SKILLの扱いはちょっと苦手目...?ここはClaudeに劣る