MultiHashFormer: Hash-based Generative Language Models

Sheffield 대학 연구팀이 각 토큰을 다중 독립 해시 함수로 생성된 해시 서명으로 표현하는 새 LLM 아키텍처 MultiHashFormer(arXiv 2606.28057)를 발표했다. Hash Encoder가 서명을 단일 잠재 벡터로 압축하고 Transformer 디코더가 다음 토큰의 해시 서명을 생성하는 구조이며, 100M·1B·3B 파라미터 규모 모두에서 표준 Transformer LM을 여러 벤치마크에서 지속적으로 상회한다고 보고했다. 오픈 가중치 공개 여부 및 상용 라이선스에 관한 구체적 정보는 기술 보고서에 명시되지 않았다.

원문 보기