Transformers 실험 구현, SSD에서 필요한 MoE 전문가만 읽어 32GB Mac에서 대형 모델 실행

주요 내용 작성자가 Transformers의 기존 레이어 단위 오프로딩 대신 라우터가 선택한 MoE 전문가를 SSD에서 읽는 실험 구현을 공개했다. 사전 할당한 슬롯 풀과 전문가 ID 매핑으로 기존 grouped_mm 커널을 재사용하며, 32GB Mac에서 Qwen3.8-Flash-Next를 실행하도록 구성했다. 활용 사례 제공된 PR 버전의 Transformers를 설치하고 device_map에서 전문가를 disk로 지정한 뒤 experts_offload 캐시를 설정한다. 예제는 전문가 3비트 양자화, 12GiB 장치 캐시, dense 레이어 8비트화와 n-gram 테이블 디스크 보관을 조합한다. 비용 및 제약 정식 확정 API가 아니라 유지보수자와 논의 중인 PR 구현이다. 예제 전문가 파일은 디스크 49GB를 차지하며 변환은 약 5시간으로 보고됐다. 요금·코드 및 모델 라이선스는 미확인이다.

원문 보기

사이트 이용 설정을 저장합니다. 분석을 허용하면 방문과 페이지 이용 현황도 측정합니다.

분석이 꺼져 있습니다.

쿠키 정책