何が起きたか
プリンストン、スタンフォードHAI、および協力者からの研究者がarXiv (2605.20520)にプレプリントを発表しました。2026年5月19日に、ベンチマークベースの能力評価の補完として「オープンワールド評価」を提案しています。このフレームワークは、ベンチマーク規模の自動化ではなく、小規模なサンプルの定性分析によって評価される、長期的で複雑な実世界タスクを対象としています。論文は、以前のオープンワールド評価（例えば、CarliniのCコンパイラビルド、Anthropicのオフィスショップ管理）を調査し、CRUX（Collaborative Research for Updating AI eXpectations）を定期的にこのような評価を実施するためのプロジェクトとして紹介し、最初の事例を報告しています。それは、AIエージェントにシンプルなiOSアプリケーションを開発してApple App Storeに公開させるというタスクです。エージェントは、回避可能な手動介入が1回だけで、このタスクを完了しました。これにより、オープンワールド評価がベンチマークが検出する数か月前に能力についての早期警告を提供できることが示唆されます。論文は制限事項を認めています——サンプルサイズが1つ、標準化の欠如、再現の難しさ——しかし、これらのトレードオフは創発的な能力を表面化させ、自動採点の盲点を明らかにするために必要であると主張しています。
なぜ重要か
ベンチマークスコアは、目標能力と評価環境の産物を混在させています——タスクが最適化しやすい場合またはトレーニングデータに漏洩する場合は過大評価し、エージェントが無関係な偶発的な障害（CAPTCHA、レート制限、不安定なGUI要素）に失敗する場合は過小評価します。エージェントがますます自律的で長期的なタスクを引き継ぐにつれ、ベンチマーク信号のノイズが増加します。オープンワールド評価は、間もなく広く普及する可能性がある能力についての早期警告を提供し、機関とポリシーメーカーが社会的回復力を構築し、展開、規制、投資に関する戦略的決定に情報を与える時間を提供します。このフレームワークは、すでにAIラボ全体で出現しているが、共有された方法論を欠いている慣行を正式化しています。
必要な対応
評価者は、現在の能力評価がベンチマークのみに依存しているかどうかを評価し、高リスク領域（自律システム、コード生成、長期的計画）でオープンワールド評価のパイロットを検討すべきです。ポリシーチームは、評価要件を設計する際に、再現性と早期警告信号の間のトレードオフに注意すべきです。研究機関は、このような評価を体系的に実施するためのCRUX方法論をレビューすべきです。