대표 AI 워크로드 측정 계획 수립하기
GPU 용량 계획은 동시 요청 수, 메모리, 응답 시간에 대한 추정치에서 시작합니다. 이 가이드는 AIMPLE의 워크로드 배치 및 스케줄링 문서를 바탕으로 추정치와 관측 결과를 구분하고, 반복 가능한 워크로드를 정의하며, 대표적인 트래픽 최대치에서 추론과 배치 작업을 함께 검증하는 방법을 설명합니다.
추정치와 측정값의 차이
AI 워크로드의 GPU 용량을 계획할 때는 예상 최대 동시 요청 수, 대략적인 메모리 요구 사항, 목표 응답 시간 같은 추정치에서 시작하는 경우가 많습니다. 이러한 추정치는 초기 규모 산정에 활용할 수 있지만 측정 결과는 아닙니다. 측정값은 정의된 워크로드를 명시된 조건에서 실행해 얻습니다.
모델을 대표성 있는 동시성 수준에서 실행하거나 대표적인 입력 범위를 처리하면 관측 결과가 추정치와 달라질 수 있으므로 둘을 구분해야 합니다.
측정 전에 워크로드를 정의합니다
반복 가능한 측정에는 정의된 워크로드가 필요합니다. AIMPLE의 워크로드 배치 문서는 배치 결정에 필요한 입력 정보를 세 가지 범주로 설명합니다.
- 서비스 목표: 워크로드별 최대 동시 요청 수와 허용 가능한 응답 또는 완료 시간 (aimple.io/platform/workload-placement)
- GPU 요구 사항: 모델 메모리, 지원되는 가속기 유형, 대표 부하에서의 리소스 요구 사항 (aimple.io/platform/workload-placement)
- 스케줄링 정책: 워크로드 우선순위와 각 그룹이 부하 급증, 대기 시간, 용량 부족을 처리하는 방식 (aimple.io/platform/workload-placement)
일반 엔지니어링 조언: 측정 전에 이들 범주의 예상값을 기록합니다. 그러면 해당 추정치를 관측 결과와 비교하기 위한 기준선으로 활용할 수 있습니다.
온라인과 배치 측정을 구분합니다
온라인 추론과 배치 생성은 성능을 살펴보는 관점이 다릅니다. AIMPLE는 온라인 엔드포인트에 대해 응답 시간과 동시성 목표를 설명하며, 생성 용량 계획에는 메모리 요구 사항, 예상 작업량, 처리 목표 시간이 사용된다고 안내합니다. 또한 플랫폼 문서는 워크로드별 GPU 메모리, 온라인 요청의 최대 동시 요청 수, 배치 작업의 예상 작업량과 완료 기한에서 시작해 해당 추정치를 대표 부하에서 확인하도록 안내합니다 (aimple.io/platform).
일반 엔지니어링 조언: 온라인과 배치 워크로드를 함께 시험하기 전에 각각 측정합니다. 온라인 추론에서는 정의된 동시성 수준에서의 응답 시간 분포를, 배치 작업에서는 정의된 작업량에서의 처리량과 완료 시간을 측정 항목으로 삼을 수 있습니다. 별도 측정은 성능 압박의 원인을 조사하는 데 도움이 될 수 있습니다.
추론과 배치를 함께 검증합니다
AIMPLE 인프라 가이드는 대표적인 트래픽 최대치에서 추론과 배치 작업을 함께 검증하도록 안내합니다 (aimple.io/guides). 이 통합 검증은 두 워크로드가 공유 용량을 동시에 사용할 때 어떻게 동작하는지 확인함으로써 개별 측정을 보완할 수 있습니다.
가상의 예시: 단독 실행에서는 p95 응답 시간 목표를 충족한 추론 워크로드가 같은 GPU 풀에서 배치 렌더링 작업과 동시에 실행될 때 느려질 수 있습니다. 통합 테스트를 수행하면 프로덕션 배포 전에 이러한 상호작용을 발견할 수 있습니다. 결과는 GPU 풀 구성, 스케줄링 정책, 가용 용량에 따라 달라집니다.
결과뿐 아니라 조건도 기록합니다
일반 엔지니어링 조언: 입력 분포, 동시성 수준, 배치 크기, 하드웨어 구성 등 테스트 조건을 결과와 함께 기록합니다. 이러한 맥락을 보존하면 이후 결과를 더 의미 있게 비교하고 테스트 실행 간 차이의 원인을 파악하는 데 도움이 됩니다.
추정치와 측정값을 비교할 때는 동일한 워크로드 정의를 사용합니다. 입력, 동시성, 하드웨어가 달라졌다면 결과를 직접 동등하게 취급하지 말고 변경 사항을 기록합니다.
정리
실용적인 측정 계획은 추정치와 관측 결과를 구분하고, 워크로드와 테스트 조건을 정의하며, 온라인과 배치 동작을 각각 평가한 뒤 대표적인 트래픽 최대치에서 두 워크로드를 함께 검증합니다. 이후 테스트를 맥락에 맞게 해석할 수 있도록 워크로드 정의, 조건, 예상 범위를 측정 결과와 함께 보존합니다.