워크로드 배치

작업별로 전용 GPU 용량을 예약할지, 공용 풀에 할당할지, 여유 자원이 생길 때까지 대기시킬지 결정합니다.

워크로드에 맞는
컴퓨팅 자원을 배치하세요.

추론, 미디어 생성, 학습, 스트리밍은 서로 다른 자원을 요구합니다. 지연 시간, 메모리, 가용 용량과 기기 위치를 기준으로 실행 환경을 정합니다.

워크로드 배치배치 계획 예시
워크로드제약 조건배치 결정
대화형 추론추론낮은 지연 시간용량 예약
미디어 렌더링생성처리량GPU 풀에 할당
모델 미세 조정학습시작 시간 조정 가능가용 용량 대기
실시간 영상 처리스트리밍실시간 송출공연장 가까이에서 처리

배치 전 확인 항목

  • 서비스 목표

    워크로드별 최대 동시 처리량과 허용 응답 시간 또는 완료 시간을 정합니다.

  • GPU 요구사항

    모델 메모리와 지원 가속기 종류를 확인하고, 실제에 가까운 부하에서 필요한 자원량을 측정합니다.

  • 스케줄링 정책

    작업을 우선순위에 따라 분류하고, 요청 급증이나 자원 부족 시 대기열을 어떻게 처리할지 정합니다.