vLLM v0.34.0, 확장형 KV 캐시 기본화와 신규 모델 10종 지원

주요 내용 vLLM v0.34.0은 워밍업 이후 실제 여유 메모리로 크기를 정하는 확장형 KV 캐시를 기본 활성화하고 GPU 실행기를 Model Runner V2로 단일화했다. Mistral Large 4와 Nemotron-3.5-Transcribe 등을 새로 지원하며, 체크포인트 저장·복구 API와 재시작 없는 일부 분산 구성 축소 기능도 추가했다. 캐시 확대는 일부 조건에서 토큰당 디코딩 지연을 늘릴 수 있다. 활용 사례 음성 모델을 /v1/audio/transcriptions로 서빙하거나 체크포인트 API로 실행 상태를 저장·복구할 수 있다. 기존 캐시 크기 산정 방식을 유지하려면 --gpu-memory-utilization 0.9 또는 --no-enable-extensible-kv-cache를 지정한다. 비용 및 제약 기본 블록 크기가 16에서 64로 바뀌고 huggingface_hub 2.0.0 이상이 필요하다. ROCm 배포물은 10.0만 제공하며 Model Runner V1 설정은 시작 오류를 일으킨다. 요금 및 라이선스 미확인.

원문 보기