Nemotron 3.5 Super VL, 실험 데이터로 과학 작업을 후학습하는 절차 공개
주요 내용 NVIDIA가 Nemotron 3.5 Super VL을 과학 분야 작업에 맞추는 실험 데이터 기반 후학습 절차를 제시했다. NeMo Gym으로 검증 가능한 보상 환경을 만들고 NeMo RL에서 GRPO와 LoRA를 적용한다. 약물 대사 예제에서는 출력 예산 16,384토큰 조건에서 SFT 후 정확도 12% 개선과 RL 후 추가 17% 개선을 보고했다. 활용 사례 MetxBioDB의 부모 분자·효소·대사산물 기록을 질의응답 쌍으로 변환하고, 예측 분자와 정답의 지문을 Tanimoto 유사도로 비교해 보상으로 사용한다. 필요하면 더 강한 교사 모델의 추론 기록으로 먼저 증류한 뒤 RL을 수행한다. 비용 및 제약 NeMo Gym과 NeMo RL을 사용하는 학습 환경이 필요하다. 필요한 GPU 사양·학습 비용·모델 라이선스 미확인. 교사 모델을 쓰는 선택 절차의 이용 요금과 API 조건도 미확인.
원문 보기