Gated DeltaNet-2: NVIDIA, 선형 어텐션 삭제·쓰기 게이트 분리 아키텍처 공개
NVIDIA 연구진이 선형 어텐션(linear attention) 내 삭제(erase)와 쓰기(write) 동작을 채널 단위 게이트로 독립 분리하는 새 시퀀스 모델 아키텍처 Gated DeltaNet-2를 arXiv에 공개했다. 13억 파라미터(1.3B) 규모로 FineWeb-Edu 1,000억 토큰을 학습한 결과 Mamba-2·Gated DeltaNet·KDA·Mamba-3 대비 언어 모델링, 상식 추론, S-NIAH 장문 검색 전 범주 벤치마크에서 최고 성능을 달성했다. 소스 코드는 GitHub(NVlabs/GatedDeltaNet-2)에 CC BY 4.0 라이선스로 오픈소스 공개되었다.
원문 보기