HRM-Text-1B: Transformer 비의존 계층형 순환 구조 기반 1B 언어 모델

Sapient AI가 Transformer 대신 계층형 순환 모델(Hierarchical Reasoning Model) 아키텍처를 적용한 HRM-Text-1B를 Apache 2.0 라이선스로 공개했다. 고수준(slow)·저수준(fast) 두 Transformer 스택이 반복 처리하는 이중 타임스케일 설계로, 공개 데이터 400억 토큰으로 사전학습됐으며 최대 4096 토큰 컨텍스트를 지원한다. NLP 분류·추출·단답형 QA에서 few-shot 성능을 보이지만, SFT/RLHF 정렬 이전의 프리트레인 체크포인트로 추가 파인튜닝이 필요하다.

원문 보기