DiffusionGemma 26B-A4B — Google의 텍스트 확산 오픈 언어 모델
Google DeepMind가 자기회귀 방식 대신 이산 확산(discrete diffusion)으로 동작하는 오픈 가중치 언어 모델 DiffusionGemma 26B-A4B-it를 공개했다. 총 25.2B 파라미터·추론 시 3.8B만 활성화하는 MoE 구조로 256K 토큰 컨텍스트를 지원하며, 텍스트·이미지·비디오를 입력으로 받아 텍스트를 출력한다. 기존 자기회귀 모델 대비 최대 4배 빠른 생성 속도(H100에서 1,000 토큰/초)를 달성하나 MMLU Pro 77.6%, GPQA Diamond 73.2%로 동급 Gemma 4보다 정확도는 낮으며, Apache 2.0 라이선스로 Hugging Face(google/diffusiongemma-26B-A4B-it)에서 배포된다.
원문 보기