「バグの特定や修正はAIの方が早い」──DMMがAIエージェント試験導入の結果を公開、評価は？

[ITmedia]

　DMM.comは4月4日、テキストエディタ「Visual Studio Code」向け拡張機能として提供中のAIコーディングアシスタント「Cline」と、ソフトウェア開発エージェント「Devin」を試験導入した成果をテックブログで公開した。2週間のトライアルを実施した結果、品質向上や工数短縮、ITエンジニアの学習効率アップに役立つ可能性が示されたという。

　例えばバグの特定やライブラリのアップデートといった作業は、AIの方が「人間がやるより早い」（同社）という結論に。「バグの修正・実装特定」「ライブラリのメジャーアップデートに伴うエラー修正」といった作業項目ごとに、人がやった場合とAIに任せた場合の所要時間の差を表にまとめて公開した。例えばバグの修正・実装特定は、人なら2時間かかるところ、AIであれば1時間で完了。コストは0.62ドル程度だったという。

　Clineについては技術負債の分析と特定、リファクタリングを自動化する目的でも検証。あらかじめ負債の分析方法やリファクタリングの方針を用意し、指示に基づいて作業させたところ「技術的負債の分析による特定は実用レベルと言える」（同社）結果だったという。リファクタリングの精度自体は十分でなかったものの「（精度向上は）時間の問題」と評した。Devinについては画像で設計図を用意したところ、その内容を正確に理解し、コードとテスト手順を生成した点を評価した。

　ClineとDevinの使い分けに関しては「まずClineを使い、AIリーダブルな指示の出し方やコードの書き方に慣れていき、そのあとにDevinを活用する順番が効率的だと感じた」という。Clineについては「並走して開発してくれることで開発者の学習につながる効果も発揮した」としている。

　費用対効果については、理論上は月間で360時間が削減できるというデータを算出。「人を増やすのか、個の生産性をあげるAIツールに投資するのか、人の代わりに完全自律型のAIツールを増やすのかを柔軟に考えていかなければいけない」「従来の組織スケールのやり方から頭を切り替えなければいけない」としている。

　ただしClineやDevinの利用に当たっては「1～2割の確率でプロンプトの指示に従わないことがあったり、指示以外の余計なことをしたりするケースもある」「早く実行し成果を得たくなるのでPlan（計画）フェーズを短縮しがち、Action（実行）フェーズでの試行錯誤によるコストの無駄遣いが起こる」などの課題も見つかったとした。

　Clineはユーザーの命令に応じて生成AIのAPIなどにアクセスし、目的のファイル内容の修正、コードの実行などを自律的に行うAIアシスタント。一方のDevinは、Slackなどで受けた指示を基に、まるで人間のエンジニアのように自律してソフトウェア開発を進めるサービスだ。ClineやDevinのように、一度の命令内容を達成するために複数のアクションを自律的に組み立てて実行するようなAIは「AIエージェント」と呼ばれ、注目を集めている。