Gemma 4 Multi-Token Prediction(MTP) 드래프터: 품질 손실 없이 추론 속도 최대 3배 향상
Google이 2026년 5월 6일 Gemma 4 오픈 모델 패밀리를 위한 Multi-Token Prediction(MTP) 드래프터 모델을 Apache 2.0 라이선스로 공개했다. 투기적 디코딩(speculative decoding) 방식으로 경량 드래프터가 대형 타겟 모델의 KV 캐시를 공유해 출력 품질 저하 없이 추론 지연 시간을 최대 3배 단축한다. Hugging Face·Kaggle에서 모델 가중치를 내려받을 수 있으며 vLLM·SGLang·Ollama 등 주요 추론 프레임워크와 iOS·Android AI Edge Gallery를 지원한다.
원문 보기