株式会社ギブリー（本社：東京都渋谷区、代表取締役社長：井手高志、以下ギブリー）が展開する国内No1*のコーディングテストツール「Track Test（トラック・テスト）」は、ChatGPTをはじめとする生成AIが普及した世界における、企業のエンジニア採用選考や評価への向き合い方について見解をまとめました。
オンラインテストの不正行為が懸念される中で、「Track Test」はChatGPT対策チームを組織し、現状のChatGPTの正答率を測る検証を行うとともに、今後求められるエンジニアリングスキルの変化やプロダクト開発の方向性を発表しました。
〈「AI主導の世界においてのコーディングテストツールはどうあるべきか」記事全文〉
https://givery.notion.site/AI-2aad3d21642b45f6a73d2805d4550692
*株式会社ドゥ・ハウスが実施した「コーディングテストサービス」4サービスを対象にしたデスクリサーチ及びヒアリング調査において「導入社数累計No.1」「受験者数累計No.1」「問題数No.1」を獲得【調査実施：2023年1月11日（水）～1月23日（月）】
本検証の実施に至った背景
世界を揺るがした「ChatGPT」の登場
2022年11月に登場した、OpenAIが開発したAIチャットボット「ChatGPT」は、わずか5日で100万人のユーザーを獲得し、現在は1億人以上が利用。この急速な成長は、InstagramやFacebookを大きく上回り、OpenAIの評価額は290億ドルに達しています。
ChatGPTは、自然な会話が可能で、テキスト要約、翻訳、文書作成、専門知識の回答、プログラミングなど、幅広い用途で活躍します。
ChatGPTの影響に対するスキルチェック実施企業からの懸念
しかし、大規模言語モデル（LLM）の普及に伴い、生産性向上と同時に、様々な分野で不安や疑問が高まっています。例えば、AIが教育やプログラミングに影響を与えることや、オンラインテストでの不正行為の可能性などが挙げられます。
実際、「Track Test」を利用するお客様や導入を検討されている企業様からも、AIの影響を受けて以下のような懸念を頂きました。
・AIは、プログラミング課題をどの程度解答できるのか
・AI時代において、スキル評価は変わってしまうのか
・AI時代において、最適な選考体験は変わるのか
こうした懸念、課題が顕在化した経緯から、「Track Test」はChatGPT対策チームを組織し、検証と結果を踏まえた見解記事を発表しました。
ChatGPTによりコーディング問題はどの程度解答され得るのか
OpenAI公式による調査結果
ChatGPTを運営するOpenAIから出されているTechnical Report*によると、世界最大の競技プログラミングサイトであるCodeforces において、GPT -3.5, -4 の両方とも下位 5% 以下の成績しか出せないことが公開されており、またコーディング面接対策ができるLeetcodeにおいても結果は同様にGPT-4であったとしても正答率が悪い結果となりました。
その他にも、算数、台数、確率など中等学校の数学的な問題解決のテストにおいても正答率が高くないものが目立ちます。
*Technical Report： https://cdn.openai.com/papers/gpt-4.pdf
「Track Test」を活用したギブリー独自の調査結果
「Track Test」の問題コンテンツ開発を担うエンジニアが、実際にChatGPTを活用して問題を正答できるかを調査しました。一度のラリーだけではなくChatGPTが出力した内容に対して、追加でオーダーを何度か行い、出力内容の変化も含めて検証を実施しています。
【得意な領域について】
・クイズ形式の選択式の問題において、明らかに異なる選択肢を消去法で除外するなどの基本的な受験テクニックを使える。
・「FizzBuzz」「全探索」など、プログラミング問題として一般的に有名な問題のマイナーチェンジでは高得点を取ることができる。
【苦手な領域について】
・ロジカルシンキング。特に数学と数学的推論。
・問題文ならではの独特な要求仕様の読解力や、その実装。
・計算量を落として高速化する問題では、計算量を落とす Evaluation Point（評価ポイント） で部分点しか取れない傾向に。
検証内容に関する詳細は、以下の記事をご覧ください。
〈「AI主導の世界においてのコーディングテストツールはどうあるべきか」記事全文〉
https://givery.notion.site/AI-2aad3d21642b45f6a73d2805d4550692
問われるAI時代の“スキル定義”と「Track Test」の今後のプロダクト開発方針
ChatGPTの台頭によってAIが急速に普及する現在、企業にとってエンジニアの“スキル”の定義が変わる可能性があります。「Track Test」チームの見解としては、
①AIを活用せずに純粋なコーディングスキルを実務力とする
②AIを活用することも含めて、その人の実務力とする
大きく2パターンに分けられると考えています。「Track Test」は柔軟性とカスタマイズ性を持ち、それぞれの企業が実現したいスキル評価に対応できるよう、以下の方針にてプロダクト開発を計画しています。
【1】AIを使うことを防ぐ機能やサービス（①の企業様向け）
AIを活用した受験を禁止した状態で、スキル評価をされたい企業様向けには、AIを使うことを防ぐ機能の拡充を行っています。
・より実践的な問題のバリエーション
・問題文章のコピープロテクト（問題文章のコピーを防ぐ）
・プロクタリング機能の導入
【2】AIを使っている兆候を検知する機能やサービス（②の企業様向け）
AI活用を許容し、そのスキルも加味して見極めを行いたい企業様向けには、AI等を活用した可能性などを検知する機能の拡充を行っています。
・ソースコードのコピー&ペーストの記録
・受験中のタブ切り替えの追跡（タブのアクティブ率やキーイベントの取得等）
・コーディング画面記録、実行ログの可視化
【3】技術面接でスキル評価ができる機能やサービスの拡充
私たちは、候補者のスキルを真に評価するためには、コーディングテストで提出されたソースコード履歴を用いて、技術面接で深掘りの会話をすることが重要だと考えています。それらの支援をすべく以下の機能拡張を図っています。
・コーディングスタイルの評価と面接活用の支援
・コーディングインタビュー機能拡充
検証内容に関する詳細は、以下の記事をご覧ください。
〈「AI主導の世界においてのコーディングテストツールはどうあるべきか」記事全文〉
https://givery.notion.site/AI-2aad3d21642b45f6a73d2805d4550692
本検証の解説セミナーを開催
6月21日(水)にTrack Test事業部長が登壇し、本検証結果を解説するセミナーを開催します。
ChatGPTの普及に伴い、エンジニア採用選考における“スキル定義”を見直す必要性を感じられている方や、自社が測りたい能力を測るための問題の選び方を知りたい方は是非ご視聴ください。ChatGPTの得意領域/苦手領域の理解が深まります。
以下より、セミナーの詳細閲覧とお申し込みが可能です。
https://tracks.run/seminar/sprint163/
DX人材の採用・育成・評価のためのHRプラットフォーム「Track（トラック）」について
Trackは、プログラミングスキルの可視化を基盤とした、エンジニアの採用・育成・評価で必要とされる、各種プロダクト・サービスを網羅したHRプラットフォームです。
＜Track Test（トラック・テスト）＞
https://tracks.run/products/test/
プログラミングスキルをテストし、データに基づいて採用を決定するためのエンジニア採用プラットフォームです。コーディングテストを通して候補者のスキルを正しく理解することが強い組織を作ります。
＜Track Training（トラック・トレーニング）＞
https://tracks.run/products/training/
企業のデジタル化に必要なスキルギャップを埋めるテクノロジー人材育成プラットフォームです。
LMS（学習管理システム）を搭載したオンライン学習環境の活用で、ビジネスに必要なテクノロジースキルを構築する最も効果的な方法を提供します。
＜Track Job（トラック・ジョブ）＞
https://tracks.run/products/job/
ハイクラスな新卒エンジニアを採用できる、プログラミングチャレンジ求人サービスです。
プログラミング課題つきの求人サービスで、学生の中でも開発経験を積んだ即戦力エンジニア人材の採用を支援します。
株式会社ギブリーについて
ギブリーは「すべての人が物心豊かな社会を実現する」をビジョンに掲げ、
HR Tech／Marketing DX／Operation DXの3事業を柱に、
「世界で必要とされる、本質価値を生むテクノロジー企業体」として、
“世界標準”のサービスを生み出し続け、日本の再生に寄与します。
会社概要
社 名 ：株式会社ギブリー
所在地 ：東京都渋谷区南平台町15-13 帝都渋谷ビル8階
代表者 ：井手 高志
設 立 ：2009年4月28日
資本金 ：10,000,000円
事業内容：
・HRテック事業（Track）
・マーケティングDX事業（DECA）
・オペレーションDX事業（PEP／法人GAI／行政GAI）