paizaというプログラミング学習サービスにてサービス利用停止処分になった話

Paizaとは

ITエンジニア向け総合求職・学習プラットフォームになります。
プログラミングの学習だったり、求職ができる国内サービスです。

こちらのサービスの売りとしては、プログラミングスキルチェックにより、 スキルレベルを6段階で評価します。
問題がS~Dランクに分かれており、ランクアップのためのチャレンジは各問題で一度のみになります。

ランクが高ければ企業からのスカウトが届きやすくなり、実力がある人ほど転職活動が有利になります。

経緯

2020年ごろからPaizaを使用してプログラミングの学習を行っており、スキルチェック問題や言語の学習サービスを利用していました。

半年ほど有料会員として登録したこともあるほど、好きなサービスです。

そして、2021年にはPaizaを利用して憧れのエンジニアになることができました！
具体的にはBランクを取得したことで、企業からのスカウトが届き、その中の一社から内定をいただきました。

Paizaは私にプログラミングの楽しさを教えてくれ、さらにエンジニアになることもできた素晴らしいサービスだと感じています。

今までに累計６５問提出しており、問題にはそこそこ取り組んでいたなと思います。

サービス利用停止に

エンジニアとして働いて業務経験を積んだことで、自分の業界内での立ち位置やその他の企業の話も聞いてみたいと思いました。

そこで、久しぶりに企業からのスカウトを募集しカジュアル面談を行うことにしました。

実際に４社ほどカジュアル面談を申し込んだのですが、希望日を過ぎても一向にステータスが企業側で日程調整中から変化しません。

おかしいなと思い、問い合わせフォームに現状を送信しました。
そうするとそこで初めてあなたは不正受験の可能性が高いため、今後の転職サービスの利用を停止させていただきますとの連絡が来ました。

AIが生成したコードを提出するとサービス利用停止に

実際に私はChatGPTの力を借りて問題を一問だけ解いたことがありました。
2023/01/28にA055:脱出ゲーム という問題をChatGPTの力を借りながら解きました。

結論としては、Paizaの転職サービスを利用停止となりました。

このメッセージによると、ChatGPTなどの生成AIを使用する行為は解答へのヒント等の示唆に該当するということでした。

しかし、Paizaは私がこの回答を提出した約4ヶ月後に利用規約の改定を行なっています。

ここで初めて生成系AIを利用した受験を不正と明確化しています。

お客様が当社サービスをご利用いただくにあたり定めている禁止事項において、生成系AI（人工知能）を利用した受験行為など、不正行為の明確化を行いました。

つまり、以前の利用規約では生成系AIの利用は明確化されていなかったと言えます。

さらに、生成AIを利用したかどうかの検出方法については、社外秘との回答ですが、こちらはいくらでも抜け道が考えられると思っています。

実際にどのように判定しているのか不明ですが、例えばChatGPTが提案したコードから変数名や関数名を変更したり、無駄な処理を追加してしまえば全てを検出することは不可能でしょう。

どこまでの範囲で同じであれば、不正受験と捉えられるのか明確な記載がありません。
そのため、極端に言ってしまえば標準入力のみChatGPTに生成してもらった場合でも不正と認定される可能性があります。

N = int(input())

さらに、解答へのヒント等の示唆が禁止とありますが、これも同じように標準入力だったり、ソートの手順などがネットに載っており、それをそのまま使用した場合転職サービスの利用を停止になる可能性が出てくることになると思います。

例えばpythonにてある配列から重複を削除してソートするコードがネット上にたくさんあります。

sortedList = sorted(set(list))

このような単純な回答で解ける問題もPaizaにはあると思います。
これもサービス利用停止になってしまう可能性が出てきます。

このように定義が曖昧だと感じたり、抜け道がいくらでも存在してしまう理由からサービス利用停止になってしまうのは悲しいなと感じます。

その他のサービスについて

Piazaのようにプログラミングの問題を提供しているサービスは他にもいくつか存在します。

代表的なものとしては

• AtCoder
• LeetCode
• CodeGolf

などでしょうか

その他のサービスが生成系AIに対してどのような態度を取っているのか調べてみました。

AtCoder

AtCoderの代表取締役である直大さんのブログによれば、

AIを使って回答することは、禁止ではないが、コピペだけの利用については非推奨、としたいと思います。

との回答です。

理由としてはやはり、AIが書いたコードか人間が書いたコードかを見分けることは困難であり、そもそも禁止することが難しいとあります。

Paizaだけがこの問題を解決しているとは思えないため、やはりPaizaでも完全に見分けることは不可能だと思ってます。

AtCoderでも企業からの採用が収益になっているとの記事もありました。
そのため、AtCoderでもエンジニア採用としてのサービスの面もあり、ビジネスモデルとしてはかなり近しいと思います。

LeetCode

こんな議論がありました。

コメントでは、オンライン評価を廃止するべきでない。なぜならChatGPTでは解けない問題がたくさんあるから。
という意見が多く載せられています。

とはいえ、LeetCodeやAtCoderは問題に対する回答をSNSなどWeb上にアップすることを禁止していませんが、Paizaは明確に禁止事項としているので、そこの態度は大きく異なるのかもしれません。

類似事例

他にも私と同じ悩みを抱えている人はいないのか調べてみました。

同じように転職サービスの利用停止になっている方がいました。

今回問題だと感じる点

• ユーザー側には一切の通知が無い
  • そのため、転職サービスが利用停止になっていたとしても気付けない
• 応募しても待ってるだけではステータスが一生変更されない
  • 問い合わせをしないと永遠に企業側で日程調整中となる。
  • そのためこちらから運営に問い合わせをしない限り、企業側の問題なのか運営側の問題か、ユーザー側の問題かわからない。
• ランクアップ自体は出来てしまう。そのため、ChatGPTを使用すればAランクまで(問題によってはSランクまで)到達可能
• たとえ不正受験を行なっていたとしてもスカウト自体は大量に届く
• 今まで生成AIを使用せず問題をたくさん解いていたとしても、その後1問でも不正受験と認定された場合、その瞬間に転職サービスの利用を停止される。

私自身以前は転職活動をPaizaで行い、実際に転職できていた過去があります。
しかしその後一回でも生成AIを使用した疑いがあると転職サービス自体が利用できなくなります。

考えた解決策

問題だけ列挙しても不満を言っているだけなので、この問題をどのように解決してほしいか１ユーザーが考えました。

1. ChatGPTが答えられない問題のみ転職サービス上で評価する

問題が複雑で生成AIが答えられないもののみ評価対象とすれば、転職サービスは利用可能になると思います。
ただこれは生成AIの進化だったり、そもそも生成AIが回答できない問題を作ることが難しいため、実現可能であれば素晴らしいですが、現実的ではないと感じます。

2. ChatGPTの仕様の疑いのあるユーザーはフラグを付けて、応募時に企業側に通知する

採用する企業側に応募したユーザーがChatGPTを使っている可能性を伝える。

そうすれば企業側で疑いのあるユーザーには対面のコーディングテストを実施するなど対策可能です。

3. ChatGPTを利用した疑いのあるランクアップはその時点で不正扱いとしてランクアップさせない

こちらを可能であれば実施してほしいですね。
もしくはせめて不正受験と見なされたとしても、不正受験と判定した問題のみ不正解とし、ランクアップを取り消すなど対策は可能だと思います。

転職サービスの利用時になって初めて「不正受験があったかもしれないので、転職サービスは利用禁止です！」と言われるのは、転職のためにPaizaを利用していた人の場合は辛いです。それならもっと早く言ってくれと感じます。

4. そもそもChatGPTの利用を許可する

ChatGPTにも解ける問題の限界があります。
そのため、利用を許可しても良いのではないでしょうか？

ChatGPTでもただ問題のコピペをしても解けない問題があります。
処理手順を丁寧に入力しないと正解を出してくれない問題があり、それができるなら記法を覚えるだけで問題は解けるようになるので、ChatGPTを使用していたとしても一定のレベル以上になるには問題解決能力、アルゴリズム力が必要です。

まとめ

確かに転職サイトとしての側面を見れば、ランクが一定以上のユーザーは実力を正当に評価できていないといけないと感じます。

ただ同時にChatGPTが回答できるレベルであれば企業側も人を雇うより生成AIを使った方がコストカットになる可能性もあります。

そう考えるとやはり生成AIが回答できない問題を増やして、それを解決できるようなエンジニアを企業側も求めるという方向がサービスとして健全かと思います。

少なくとも現状の抜け道がいくらでも存在すると思われる規約で利用停止になる状況は不公平だと感じます。

それこそ規約違反になるのでやらないですが、複数アカウントを作成してChatGPTが生成したコードを少し変えてまたAランクとか取ればまた転職サービスを利用できてしまうのではないでしょうか？

Paizaは日本語で書かれた初心者でも解きやすい問題が多いです。

AtCoderも私は行なっているのですが、初心者にとっては難しい問題が多く、ハードルが高いと感じます。
PaizaのAかSランク程度の問題がAtCoderでC問題として出題されたりします。

そのためプログラミング言語自体初学者の人にとっては最初のハードルがとても高いです。
現に以下のブログでも、ユーザーの 約６割が参加回数4回以下 とあります。

LeetCodeは素晴らしいサービスですが、問題や解説がすべて英語で記載されており、翻訳しても変な日本語になったりして問題の理解が大変です。

そのため、Paizaは問題が日本語で書かれており、簡単な問題も多いため、プログラミング初心者にとっては素晴らしいサービスだと思います。

現状の課題が解決しよりよいサービスになることを望みます。

PS.サービス利用停止を解除していただけると嬉しいです。