NVIDIA Nemotron-Labs-TwoTower: 오픈웨이트 이중 타워 확산 언어 모델 공개
NVIDIA가 Nemotron-Labs-TwoTower를 NVIDIA Nemotron Open Model License(상업적 이용 허가)로 Hugging Face에 공개하였습니다. 동결된 Nemotron-3-Nano-30B-A3B 자동회귀 컨텍스트 타워와 학습 가능한 디퓨전 디노이저 타워로 구성된 이중 타워 구조이며, 약 2.1조 토큰으로 학습하여 AR 베이스라인 대비 98.7% 품질을 유지하면서 벽시계 기준 생성 처리량 2.42배를 달성합니다. 마스크 디퓨전·모의 AR·표준 AR 세 가지 추론 모드를 지원하며, 두 타워 합산 약 60B 파라미터(타워당 3B 활성)로 동작합니다.
원문 보기