본문 바로가기
AIMPLE
  • 플랫폼 기능
  • 워크로드 배치
  • 배포 옵션
  • 도입 절차
가이드
  • 리소스 개요
  • 블로그
  • 뉴스
  • AI 브리핑
  • Trending
문의
  • English
  • 한국어
AIMPLE
플랫폼
  • 플랫폼 기능
  • 워크로드 배치
배포
  • 배포 옵션
  • 도입 절차
가이드
리소스
  • 리소스 개요
  • 블로그
  • 뉴스
  • AI 브리핑
  • Trending
문의
트렌딩
2026. 11. 13.ggml-org/llama.cpp

ggml-org/llama.cpp

스타
134,525
언어
C++
라이선스
MIT
일간
순위 13 · +287 스타 증가

저장소 수치는 발행일의 관측 정보이며 현재 수치와 다를 수 있습니다.

주요 내용 C/C++로 LLM·VLM 추론을 실행하며, CLI와 OpenAI 호환 API 서버 및 내장 웹 UI를 제공한다. 다양한 양자화 형식과 CPU·GPU 혼합 추론, Metal·CUDA·HIP·Vulkan 등 여러 백엔드를 지원하는 점이 특징이다. 활용 사례 README는 Hugging Face의 GGUF 모델을 내려받아 CLI에서 실행하거나 같은 모델로 OpenAI 호환 서버를 여는 흐름을 제시한다. 서버에는 브라우저에서 사용하는 내장 웹 UI도 있다. 비용 및 제약 코드는 MIT 라이선스이며 로컬 추론 경로가 제공된다. 모델별 이용 조건과 비용 조건 확인 필요. 자체 호스팅에는 하드웨어·저장 공간·전력 비용이 들며 클라우드 실행 시 인프라 비용이 별도다. 도입 시 유의사항 선택한 모델 형식·크기와 실행 백엔드에 맞는 바이너리 또는 빌드 구성을 확인해야 한다. 제공된 내용만으로 특정 장비의 메모리 충족 여부나 처리 성능을 판단할 수 없다. 주목하는 이유 일간 Trending 13위, 스타 증가량 287개로 관측됐다. 2026-11-12 등록된 b12332는 기존에 스칼라 CPU 경로에 머물던 연산을 SpacemiT RVV 커널로 연결하는 변경으로, 백엔드별 구현을 계속 다듬는 사례다.

GitHub 원문 보기
AIMPLE

AI 도입을 계획하고 있나요?

어떤 워크로드를 어느 환경에서 실행하려는지 알려주세요.

도입 문의

플랫폼

  • 플랫폼 기능
  • 워크로드 배치

배포

  • 배포 옵션
  • 도입 절차

리소스

  • 가이드
  • 블로그
  • 뉴스
  • AI 브리핑
  • Trending

Emotionwave

  • emotionwave.com

RIMA

  • enter.rima.ai
  • rima.ai
  • RIMA Star
  • RIMA Lodestar

NVEX

  • nvex.kr
  • mew31.com
  • MEW Music Place
  • MEWZ
  • Klavix
  • MEW Drum
  • MEW Piano
  • MEW Tutor
  • 아트피셜 아카데미
  • 보코 (Vocco)

Infidity

  • infidity.ai
  • tangle.infidity.ai

© 2026 이모션웨이브 주식회사

맨 위로