VibeThinker-3B: 소형 모델에서 검증 가능한 추론의 프론티어 탐색
WeiboAI가 Qwen2.5-3B 아키텍처 기반의 3B 파라미터 소형 추론 모델 VibeThinker-3B를 MIT 라이선스로 공개하였으며, 모델 가중치와 훈련 코드가 HuggingFace 및 GitHub에 모두 공개되었다. Spectrum-to-Signal Principle 파이프라인(커리큘럼 SFT → 다중 도메인 RL → 오프라인 자기 증류)으로 훈련되어 3B 규모에서 671B 파라미터의 DeepSeek V3.2에 준하는 코딩·수학 성능을 달성하였다. AIME26 벤치마크 94.3점, LiveCodeBench v6 80.2 Pass@1, IMO-AnswerBench 76.4점, LeetCode 콘테스트 96.1% 통과율을 기록하였다.
원문 보기