인프라 가이드
GPU 워크로드를 스케줄링하고 실행 환경을 선택한 뒤, 도입 계획을 검증하는 방법을 알아보세요.

GPU 스케줄링
워크로드별 응답 시간과 필요 용량을 기준으로 배치 우선순위를 정하세요.
- 대화형 추론의 응답 시간 목표를 정하고, 예약할 용량을 파악하세요.
- 생성이나 기타 배치 작업에 필요한 GPU 메모리와 허용 대기 시간을 기록하세요.
- 트래픽이 몰리는 상황을 재현해 추론과 배치 작업을 함께 검증하세요.
배포 환경
데이터 접근 범위와 지연 시간 요구사항을 기준으로 추론·생성·학습의 실행 위치를 결정하세요.
- 데이터를 저장하고 처리할 수 있는 위치와 워크로드 접근 권한을 확인하세요.
- 각 현장에서 사용할 수 있는 컴퓨팅 자원, 스토리지, 네트워크 용량을 파악하세요.
- 클라우드 자원을 쓸 수 있는 작업과 기기나 데이터 소스 가까이에서 실행해야 하는 작업을 구분하세요.
도입 계획
시범 운영에서 검증할 항목과 운영 담당자를 정하세요.
- 대표 워크로드를 선정하고 응답 시간, 처리량 등 검증 지표를 정하세요.
- 실제 도입에 사용할 대상 인프라, 연동 방식, 접근 제어로 시범 운영을 진행하세요.
- 도입 범위를 확대하기 전에 모니터링, 유지보수, 장애 대응 책임을 배정하세요.