벤치마크 점수만으론 설득 안 된다

엔터프라이즈 영업 미팅에서 '우리 모델이 MMLU 92%입니다'라고 말하던 시대는 지났다. 구매 측이 벤치마크 재현성을 검증하기 시작하면서, 점수 뒤에 숨은 평가 프로토콜·컴퓨트 설정·프롬프트 전략까지 모두 까발려지는 상황이 온 것이다. 영국 정부 산하 AISI가 EvalEval의 '평가 카드' 인프라를 채택해 프론티어 모델 6종의 HealthBench·FrontierMath·SWE-Bench 등 5개 벤치마크 결과를 투명하게 공개한 건, 평가 결과가 '신뢰 자산'으로 격상됐음을 알리는 신호다. 이는 제약업계가 임상시험 원데이터 공개를 의무화하면서 신약 승인 경쟁이 '데이터 품질 경쟁'으로 바뀐 것과 같은 궤적이다. 이제 평가 결과를 어떻게 구조화해 공개하느냐가 모델 경쟁력의 새로운 척도가 된다.

AI 실무자에게: 이번 주 클라이언트 데모에서 '우리 파인튜닝 모델이 SWE-Bench에서 65% 달성했습니다'라고 말할 때, EvalEval 스키마로 작성된 평가 카드 링크를 함께 보내라. 점수만 던지던 경쟁사와 달리 평가 프로토콜·토큰 예산·프롬프트 템플릿까지 투명하게 공개하면 기술적 신뢰도가 즉시 상승한다. ABCAI에서 'LLM 평가 설계' 전문가로 프로필을 업데이트하면 관련 프로젝트 매칭 우선순위가 올라갑니다.

기업 의사결정자에게: 벤더 평가 시 '퍼블릭 벤치마크 점수' 항목을 '재현 가능한 평가 카드 제출 여부'로 교체하라. AISI가 공개한 GPT-5.4·Claude Opus 4.6 등의 터미널벤치 결과처럼, 동일 모델이라도 평가 프로토콜에 따라 성능이 20%p 이상 갈리는 현실을 구매 기준으로 삼아야 한다. ABCAI에서 '모델 검증·벤치마킹' 분야 전문가를 찾아 도입 전략을 검증하세요.

플랫폼 기회: 'AI 평가 카드 작성·검증' 매칭 카테고리를 신설해야 한다. EEE 스키마 준수 여부 검토, 평가 카드 품질 감사, 크로스 벤치마크 메타 분석까지 포함하는 이 카테고리는 엔터프라이즈 구매팀의 필수 체크리스트가 될 것이다.

2026년 9월 22일, 영국 AI안전연구소(AISI)가 EvalEval 연합의 '평가 카드' 플랫폼을 통해 프론티어 모델 6종(Claude Opus 4/4.5/4.6, GPT-5/5.2/5.4)의 HealthBench·FrontierMath·Humanity's Last Exam·SWE-Bench Pro·Terminal-Bench 2.0 평가 결과를 공개했다. 이 데이터는 AISI 논문 'How Inference Compute Shapes Frontier LLM Evaluation'의 메인 실험 결과로, 평가 프로토콜과 추론 컴퓨트 변화에 따른 성능 곡선까지 포함한다. EvalEval의 'Every Eval Ever(EEE)' 스키마로 표준화된 이 공개는, 벤치마크 결과가 '재현 불가능한 마케팅 수치'에서 '검증 가능한 증거 자산'으로 전환되는 분기점이다. AISI는 앞서 OptStop(조기 중단)·HiBayES(베이즈 통계) 등으로 평가 효율성과 엄밀성을 높여온 바 있다.

1. EvalEval 평가 카드 1개 열람해 구조 파악하기 (15분): https://evaleval.org/cards 에 접속해 AISI가 공개한 'Terminal-Bench 2.0 - GPT-5.4' 카드를 열고, 메타데이터·트랜스크립트·컴퓨트 설정 탭이 어떻게 구성됐는지 확인하라. 내 평가 결과도 이 포맷으로 정리하면 즉시 공유 가능하다.

2. ABCAI 프로필에 'EEE 스키마 작성' 스킬 태그 추가하기 (10분): 프로필 편집 → 기술 스택 → '평가·벤치마킹' 카테고리에서 'EEE 스키마 작성', '평가 카드 설계' 태그를 체크하고 저장하라. 평가 표준화 수요가 몰릴 때 최상단 매칭된다.

3. 이번 주 팀 회의 안건으로 '평가 카드 도입' 올리기 (5분): '우리도 모델 납품 시 평가 카드 첨부하자'는 한 줄 안건을 슬랙/노션에 올리고, 담당자 1명 지정해 PoC 일정 잡으라. 가장 빠른 레퍼런스는 AISI 공개 카드다.