令和３年度戦略的基盤技術高度化支援事業（ＡＩを活用した採択審査に関する調査）報告書

この報告は、戦略的基盤技術高度化支援事業の採択審査にAI技術を活用した効率化・高度化に関する実証調査について書かれた報告書である。

本調査は、毎年数百件の申請から百件前後を採択するサポイン事業の審査にかかるコストを削減するため、AI（自然言語処理技術）を活用した審査システムの実証を行った。従来の審査では1件につき複数の有識者や職員が関与するため、審査コストが無視できない状況となっていた。基本的にはAIのみでの審査は困難であることから、審査員を補助する仕組みとして最適な方法を検討し、他の委託事業や補助事業にも横展開できる仕組みの構築を目指した。

実証では、過去4年分のサポイン事業データ1007件を対象とし、申請書PDFデータの機械判読可能な電子データ化とAIを活用した審査の実証を実施した。教師データとして審査済み申請書データと審査結果を用い、自然言語処理により点数の差分を生み出した要因を学習させ、各申請書の評価軸に対してAIが点数付けを行った。また独自のCI技術を活用して教師データの質の向上を図った。

実証結果では、審査AIの性能が人間の審査員の正解率及び相関係数にほぼ匹敵する精度を確認した。教師データ数を増減させた検証では、データ数が増加すると審査精度も向上する傾向が見られ、さらなる精度向上の余地があることが判明した。評価貢献度の高い審査員の審査結果を抽出した教師データでは、現時点のデータ量では性能向上の確認に至らなかったが、データを増やすことで性能向上が見込まれることが示唆された。