ZAYA1-8B: AMD MI300X 학습 MoE 추론 모델, 760M 활성 파라미터로 대형 모델 성능 달성

Zyphra가 총 8.4B 파라미터 중 760M만 활성화하는 소형 MoE 언어 모델 ZAYA1-8B를 Apache 2.0 라이선스로 공개하고 기술 보고서(arxiv 2605.05365)를 발표했다. AMD Instinct MI300X 클러스터에서 학습되었으며 AIME'26 89.1점, GPQA-Diamond 71.0점, LiveCodeBench-v6 65.8점으로 Qwen3-4B 및 Gemma-4-E4B 등 유사 규모 모델을 전 벤치마크에서 상회한다. 고정 메모리 비용으로 무제한 추론을 지원하는 Markovian RSA 테스트 타임 컴퓨팅 방법론을 새롭게 도입했다.

원문 보기