世界最大級のAI関連学会である「神経情報処理システム（NeurIPS：Neural Information Processing Systems）」の組織委員会は先週、論文投稿要項を更新した。新しい投稿要項では、NeurIPS（ニューリップス）が「再現性チェックリスト」と呼ぶリストの提出を求める。
NeurIPSの今回の動きは、科学界で高まっている「再現性の危機」を抑制するための壮大な戦いに小さな変化をもたらすものだ。科学界では他の研究者が再現できない研究結果があり、その件数は不安を感じるほど多い。こうした状況により、最初の研究結果の妥当性に疑問が投げかけられている。
今年2月には、ライス大学のある統計学者が、機械学習の手法によって再現性の危機がさらに深刻化する恐れがあると警告した。機械学習が生み出す結果は審査が困難なためだ。機械学習が医療や薬物研究などの重要な分野にますます利用されるようになったことで、これは厄介な問題となっている。
NeurIPSは再現性チェックリストの導入で問題に取り組もうとしている。研究者は、自身のアルゴリズムを明確に説明し、データ収集プロセスを詳細に説明し、訓練中に使用したあらゆるシミュレーション環境へのリンクを提供し、どのようなデータをどのような理由で保持・廃棄したのかを包括的に示す必要がある。
NeurIPSのチェックリストのアイデアは、研究者がどのように結論に達したのかを示すための新たな透明性の基準を生み出すものだ。非営利団体「オープンAI（OpenAI）」のジャック・クラーク政策部長は、自身が発行するニュースレター「インポートAI（Import AI）」で、「世界でもっとも重要なAIカンファレンスであるNeurIPSの2019年の方針は、幅広いAIのエコシステム全体に波及効果を及ぼすでしょう」と述べている。
