인프라 가이드

GPU 워크로드를 스케줄링하고 실행 환경을 선택한 뒤, 도입 계획을 검증하는 방법을 알아보세요.

GPU 스케줄링

워크로드별 응답 시간과 필요 용량을 기준으로 배치 우선순위를 정하세요.

  • 대화형 추론의 응답 시간 목표를 정하고, 예약할 용량을 파악하세요.
  • 생성이나 기타 배치 작업에 필요한 GPU 메모리와 허용 대기 시간을 기록하세요.
  • 트래픽이 몰리는 상황을 재현해 추론과 배치 작업을 함께 검증하세요.
워크로드 배치 예시 보기

배포 환경

데이터 접근 범위와 지연 시간 요구사항을 기준으로 추론·생성·학습의 실행 위치를 결정하세요.

  • 데이터를 저장하고 처리할 수 있는 위치와 워크로드 접근 권한을 확인하세요.
  • 각 현장에서 사용할 수 있는 컴퓨팅 자원, 스토리지, 네트워크 용량을 파악하세요.
  • 클라우드 자원을 쓸 수 있는 작업과 기기나 데이터 소스 가까이에서 실행해야 하는 작업을 구분하세요.
배포 옵션 비교하기

도입 계획

시범 운영에서 검증할 항목과 운영 담당자를 정하세요.

  • 대표 워크로드를 선정하고 응답 시간, 처리량 등 검증 지표를 정하세요.
  • 실제 도입에 사용할 대상 인프라, 연동 방식, 접근 제어로 시범 운영을 진행하세요.
  • 도입 범위를 확대하기 전에 모니터링, 유지보수, 장애 대응 책임을 배정하세요.
도입 절차 보기