DreamX-Creator 1.0: Democratizing Native Audio-Video Generation at 2K Resolution

DreamX-Creator 1.0은 first frame과 text prompt를 받아 오디오와 비디오를 함께 생성하는 native joint audio-video generation 시스템입니다. 공개된 설명에 따르면 7B generator, Gated Cross-Modal Attention, Progressive Joint Training, Audio-Video Reinforcement Learning, 그리고 Autoregressive 1-Step 2K Refinement을 사용하며, Apache 2.0 라이선스로 배포됩니다. 논문 초록과 저장소에는 동기화된 오디오-비디오 생성과 2K 출력, 그리고 open-source 상에서 경쟁력 있는 성능을 목표로 한다는 점이 제시되어 있습니다.

원문 보기