Bonsai 27B — PrismML, 27B급 최초 iPhone 구동 1비트 양자화 모델

PrismML이 2026년 7월 14일 Qwen3.6-27B 기반의 1비트·삼진(ternary) 양자화 모델 Bonsai 27B를 Apache 2.0 라이선스로 출시했다. 1-bit 빌드는 가중치당 1.125비트, 3.9GB 용량으로 27B급 모델 중 최초로 iPhone에서 실행 가능하며 FP16 대비 89.5% 성능을 15개 벤치마크에서 유지한다. 262K 토큰 컨텍스트, 비전 타워 포함 멀티모달, M5 Max에서 최대 87 tok/s·NVIDIA RTX 5090에서 163 tok/s(1-bit 기준)를 제공한다.

원문 보기