ggml-org/llama.cpp
- 스타
- 134,525
- 언어
- C++
- 라이선스
- MIT
- 일간
- 순위 13 · +287 스타 증가
저장소 수치는 발행일의 관측 정보이며 현재 수치와 다를 수 있습니다.
주요 내용 C/C++로 LLM·VLM 추론을 실행하며, CLI와 OpenAI 호환 API 서버 및 내장 웹 UI를 제공한다. 다양한 양자화 형식과 CPU·GPU 혼합 추론, Metal·CUDA·HIP·Vulkan 등 여러 백엔드를 지원하는 점이 특징이다. 활용 사례 README는 Hugging Face의 GGUF 모델을 내려받아 CLI에서 실행하거나 같은 모델로 OpenAI 호환 서버를 여는 흐름을 제시한다. 서버에는 브라우저에서 사용하는 내장 웹 UI도 있다. 비용 및 제약 코드는 MIT 라이선스이며 로컬 추론 경로가 제공된다. 모델별 이용 조건과 비용 조건 확인 필요. 자체 호스팅에는 하드웨어·저장 공간·전력 비용이 들며 클라우드 실행 시 인프라 비용이 별도다. 도입 시 유의사항 선택한 모델 형식·크기와 실행 백엔드에 맞는 바이너리 또는 빌드 구성을 확인해야 한다. 제공된 내용만으로 특정 장비의 메모리 충족 여부나 처리 성능을 판단할 수 없다. 주목하는 이유 일간 Trending 13위, 스타 증가량 287개로 관측됐다. 2026-11-12 등록된 b12332는 기존에 스칼라 CPU 경로에 머물던 연산을 SpacemiT RVV 커널로 연결하는 변경으로, 백엔드별 구현을 계속 다듬는 사례다.
GitHub 원문 보기