Apa yang terjadi
Stanford HAI menerbitkan policy brief yang memperkenalkan Ensemble Monitoring Model (EMM), sebuah framework untuk pemantauan real-time radiological AI tools. Radiological AI menyumbang sekitar 76% dari FDA-authorized AI-enabled medical devices per Desember 2025, namun sebagian besar sistem yang tersebar kekurangan robust performance monitoring. EMM mengukur agreement antara primary AI model dan ensemble dari lima independent submodels untuk mengestimasi uncertainty tanpa memerlukan akses ke black box model components, terinspirasi dari clinical consensus practices. Menggunakan large dataset yang fokus pada brain bleed detection, framework ini menunjukkan bahwa EMM dapat mengurangi cognitive burden radiologist dengan mengkarakterisasi AI model uncertainty secara real-time pada point of care dan membimbing appropriate responses ketika cases ditandai untuk reduced accuracy. Brief ini berpendapat bahwa continuous performance monitoring harus diperlakukan sebagai core component dari responsible AI deployment dalam healthcare.
Mengapa penting
Healthcare AI governance tidak dapat berhenti pada product approval. Framework ini menyediakan practical, deployable method untuk post-market surveillance dari clinical AI systems yang tidak memerlukan vendor cooperation atau akses ke proprietary model internals—sebuah critical enabler bagi hospitals dan health systems yang harus mengawasi third-party AI tools. Policymakers harus memandang methods seperti EMM sebagai component dari total lifecycle AI regulation.
Tindakan yang diperlukan
Hospital CIOs dan clinical informatics leaders harus pilot EMM-style uncertainty monitoring pada minimal satu radiological AI system pada Q4 2026 dan brief the board tentang post-deployment oversight gaps.