IFM, Apache-2.0 world model PAN 2 공개

PAN 2는 Institute of Foundation Models의 시작 장면과 언어로 지정한 행동에서 후속 상황을 영상으로 생성하는 world model이다. Multimodal LLM의 conceptual reasoning과 처음부터 학습한 29B latent diffusion model의 perceptual reasoning을 결합한다. 영상 모델 가중치와 학습·추론 코드를 Apache-2.0으로 공개해 행동 결과 시뮬레이션과 physical intelligence 연구에 활용할 수 있다.

원문 보기