워크로드 배치
작업별로 전용 GPU 용량을 예약할지, 공용 풀에 할당할지, 여유 자원이 생길 때까지 대기시킬지 결정합니다.

AIMPLE Runtime
워크로드에 맞는
컴퓨팅 자원을 배치하세요.
추론, 미디어 생성, 학습, 스트리밍은 서로 다른 자원을 요구합니다. 지연 시간, 메모리, 가용 용량과 기기 위치를 기준으로 실행 환경을 정합니다.
| 워크로드 | 제약 조건 | 배치 결정 |
|---|---|---|
| 대화형 추론추론 | 낮은 지연 시간 | 용량 예약 |
| 미디어 렌더링생성 | 처리량 | GPU 풀에 할당 |
| 모델 미세 조정학습 | 시작 시간 조정 가능 | 가용 용량 대기 |
| 실시간 영상 처리스트리밍 | 실시간 송출 | 공연장 가까이에서 처리 |
배치 전 확인 항목
서비스 목표
워크로드별 최대 동시 처리량과 허용 응답 시간 또는 완료 시간을 정합니다.
GPU 요구사항
모델 메모리와 지원 가속기 종류를 확인하고, 실제에 가까운 부하에서 필요한 자원량을 측정합니다.
스케줄링 정책
작업을 우선순위에 따라 분류하고, 요청 급증이나 자원 부족 시 대기열을 어떻게 처리할지 정합니다.