ashhart/TensorFold
- 스타
- 1,923
- 언어
- Zig
- 라이선스
- Apache-2.0
- 일간
- 순위 7 · +94 스타 증가
저장소 수치는 발행일의 관측 정보이며 현재 수치와 다를 수 있습니다.
주요 내용 Zig 바이너리가 체크포인트를 읽고 요청을 토큰화해 Metal·CUDA 커널로 언어 모델을 제공하는 추론 엔진이다. 핵심 서빙에는 Python·MLX 설치가 필요 없으며, Responses·Anthropic Messages API와 요청 대기열 및 병렬 처리 제한을 제공한다. 활용 사례 모델을 내려받아 로컬 서버로 제공한 뒤 채팅 API에 요청하거나, 기존 로컬 체크포인트·Hugging Face 캐시를 연결하는 방법이 설명돼 있다. 별도 로컬 웹 앱에서는 모델 선택·실행·채팅을 할 수 있다. 비용 및 제약 엔진 코드는 Apache-2.0이며 모델 가중치에는 별도 라이선스가 적용된다. 로컬 서빙과 외부 유료 API는 구분해야 하며, 기본 예시는 로컬 모델을 사용한다. 하드웨어·메모리·저장 공간·전력 비용은 별도이고 모델별 비용 조건 확인 필요. 도입 시 유의사항 Linux NVIDIA 배포본은 glibc 2.28 이상과 R580 이상 드라이버가 필요하다. 모델별 지원 백엔드·메모리 범위를 확인해야 하며, 웹 앱은 별도 설치가 필요할 수 있다. Living Weights는 실험 기능이며 체크포인트 파일을 수정하고 회상·속도 제약이 명시돼 있다. 주목하는 이유 일간 Trending 7위, 스타 증가량 94개로 관측됐다. 2026-11-12 등록된 1.2.7은 긴 대화의 상태 복원 개선, Responses API의 WebSocket 모드, CUDA의 LightOnOCR-3 이미지 채팅을 설명해 API 통합과 대화 재개 기능을 살펴볼 이유가 있다.
GitHub 원문 보기