무슨 일이 있었나
RAND 연구원들은 폐쇄형 가중치 배포를 위해 설계된 평가 관행으로 해결되지 않는 고유한 위험 요소를 도입하는 오픈 가중치 AI 모델에 맞춘 비례적 평가(PE) 프레임워크를 제안합니다. 저자들은 2025년부터 2026년 4월 사이에 출시된 37개 오픈 가중치 모델 계열의 평가 관행을 체계적으로 검토한 결과, 4개 PE 기준(PE1-4)을 모두 충족하는 것은 1개뿐이며 대부분은 어떤 기준도 충족하지 않음을 발견했습니다. 이 프레임워크는 통제된 배포를 가정하는 현재의 평가 규범과 미세 조정, 양자화, 감시 없이 배포될 수 있는 오픈 가중치 모델의 현실 사이의 간극을 해결합니다.
왜 중요한가
오픈 가중치 모델은 급증하고 있으며(약 16개월 동안 37개 계열) 고유의 위험에 비례하는 평가 표준이 부족합니다. 오픈 가중치 모델을 기반으로 구축하거나 배포하는 조직들은 평가 간극에 직면합니다: 기존 벤치마크는 유해한 작업을 위한 미세 조정이나 비전문가 행위자에 의한 대규모 배포와 같은 출시 후 위험을 평가하지 않습니다. 이 프레임워크는 정책 및 구매 결정을 위한 구조화된 기반을 제공합니다.
필요한 조치
조직이 오픈 가중치 모델을 사용하거나 사용할 계획이 있다면, RAND의 PE1-4 기준에 따라 모델을 비교하여 평가 간극을 파악하십시오. AI 거버넌스 팀과 함께 공급업체 선택 및 위험 평가 프로세스가 오픈 가중치 아키텍처에 특정한 배포 후 위험을 고려하는지 논의하십시오.