PlayGen2, 명시적 3D 상태와 neural rendering을 분리한 world model 공개

PlayGen2는 학습된 3D 상태 변화와 neural rendering을 분리하는 실시간 interactive world model이다. 정적 geometry를 volumetric occupancy grid로 유지하고 플레이어·개체의 3D 상태를 추적하며, 생성 영상을 상태 예측에 다시 입력하지 않고 깊이·semantic projection에서 1인칭 영상을 합성한다. 연구진은 Doom 환경에서 M4 Pro MacBook Pro 기준 전체 simulation·rendering의 backend latency 약 160ms와 미지의 맵 적용·멀티플레이 상호작용을 보고했으며, 코드와 pretrained weights를 공개했다고 밝혔다.

원문 보기