Google DeepMind、世界初の「二重盲検AI評価」を試行——“そのベンチマーク、信じていいのか”への技術的回答

要点

• Google DeepMindは2026年8月27日、世界初の「二重盲検AI評価」の試行を発表した。評価者はモデルの中身を見られず、開発元は試験問題を見られない状態で、第三者評価を成立させる仕組み
• 狙いは「ベンチマーク汚染」対策。モデルが学習中に試験問題を見てしまっていると、スコアは実力を反映しなくなる
• Google CloudのConfidential Computing（機密計算）を使い、Gemini Flash Liteを非公開ベンチマークで評価することに成功。シンガポールAI安全研究所、OpenMined、MLCommonsなどが参加

何が発表されたのか

新モデルが出るたびにベンチマークのスコアが誇らしげに並びますが、そこには昔から知られた弱点があります。試験問題がネット上に公開されていれば、モデルは学習データ経由でそれを「見て」しまっている可能性がある——これがベンチマーク汚染です。カンニングした答案の点数と同じで、どこまで信じてよいか分かりません。

かといって、試験問題を非公開にして第三者がモデルを評価しようとすると、今度は開発元が「モデルの中身（重み）を外部に渡せない」という壁にぶつかります。二重盲検AI評価は、この行き詰まりへの技術的な回答です。

仕組み

暗号技術で保護された「箱」（Google CloudのConfidential Space）の中で評価を実行します。

• 評価者の試験問題は評価者だけの秘密のまま
• モデルの重みは開発元だけの秘密のまま
• 評価はセキュアなGPU環境の中で行われ、双方は暗号学的に検証済みの結果だけを受け取る

医薬品の臨床試験で使われる「二重盲検」の考え方を、AI評価に持ち込んだ形です。今回はGemini Flash Liteを非公開ベンチマークで評価する試行に成功し、サイバーセキュリティや政府用途など機密性の高い領域の評価への応用が見込まれています。

企業のAI活用にとっての意味

ベンダーが掲げるベンチマークスコアは、モデル選定の参考にはなっても、鵜呑みにできない——業界自身がそれを認めて仕組みを作り始めた、というのがこのニュースの本質です。裏を返せば、外部のスコア競争がどうであれ、最終的な判定基準は「自社の業務・自社のデータで検証した結果」に置くべきだということ。導入前に自社の実業務サンプルで小さく試す検証体制を持つ企業と、ランキングだけでツールを決める企業とでは、選定の精度に差がつきます。