オープンウェイトAIモデルには相応の評価アプローチが必要

RAND研究員は、オープンウェイトAIモデル向けに調整された相応の評価(PE)フレームワークを提案しています。このフレームワークは、クローズドウェイト配置用に設計された評価慣行では対応されていない固有のリスク要因に対応しています。著者らは2025年4月から2026年の間にリリースされたオープンウェイトモデル37ファミリーの評価慣行を体系的にレビューし、4つのPE基準(PE1-4)すべてを満たすのはわずか1つであり、ほとんどが基準を満たしていないことを発見しました。このフレームワークは、監視なしで微調整、量子化、配置が可能なオープンウェイトモデルの現実と、制御された配置を想定する現在の評価規範との間のギャップに対応しています。

オープンウェイトモデルが急増していますが(約16カ月間で37ファミリー)、それらの固有のリスクに相応する評価基準が不足しています。オープンウェイトモデルを構築または配置する組織は、評価ギャップに直面しています。既存のベンチマークは、有害なタスクへの微調整やエキスパート以外のアクターによる大規模な配置といったリリース後のリスクを評価していません。このフレームワークは、ポリシーおよび調達決定のための体系的な基礎を提供します。

組織がオープンウェイトモデルを使用しているか使用を計画している場合は、RANDのPE1-4基準に対してモデルを比較して、評価ギャップを特定してください。AI管理チームと協議して、ベンダー選択とリスク評価プロセスがオープンウェイトアーキテクチャに固有の配置後リスクに対応しているかどうかを確認してください。