Meituan, 1.6T MoE 멀티모달 모델 LongCat-2.5 정식 제공
LongCat-2.5는 Meituan이 공개한 native multimodal 모델로, 전체 1.6T parameters 중 token당 약 48B parameters를 활성화한다. 시각 신호를 다층 discrete token으로 표현해 텍스트와 통합 처리하고, long-horizon reinforcement learning으로 복잡한 코드베이스 개발과 전체 프로젝트 구축 능력을 강화했다. W4A4 추론에서는 전문가 가중치와 activation을 모두 4 bit로 양자화해 회사의 온라인 부하 평가에서 W8A8 대비 prefill과 decode 처리량을 각각 43.3%와 42.77% 높였다고 보고했다.
원문 보기