어영정 교수(응용정보공학전공, (겸)인공지능대학원)는 2024년 10월, 지도학생들과의 연구 결과물인 아래 논문들을 인공지능 주요 학회인 ECCV에 발표했다.

제목: HARIVO: Harnessing Text-to-image Models for Video Generation
저자: Mingi Kwon, Yang Zhou, Difan Liu, Joon-Young Lee, Haoran Cai, Baqiao Liu, Feng Liu, Youngjung Uh
요약: 이 논문은 사전 학습된 텍스트-이미지(T2I) 모델을 기반으로 확산 기반 비디오 모델을 생성하는 방법을 다음과 같이 제안한다. 1) 비디오 생성에 적합한 독특한 아키텍처를 제안하며, 매핑 네트워크와 프레임 단위 토큰을 통합하여 원본 T2I 모델의 다양성과 창의성을 유지한다. 2) 시간적 부드러움을 위한 새로운 손실 함수로 중간 피쳐의 부드러움을 사용한다. 3) 그래디언트 샘플링 완화 기법을 제안한다. 안정적인 StableDiffusion 모델을 기반으로 구축된 이 방법은 훈련 과정을 간소화하고 ControlNet 및 DreamBooth와 같은 기성 모델과의 원활한 통합을 가능하게 한다. 프로젝트 페이지에서 생성된 동영상들의 예시를 제공한다.

프로젝트 페이지: https://kwonminki.github.io/HARIVO

제목: Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting

저자: Jeongmin Bae*, Seoha Kim*, Youngsik Yun, Hahyun Lee, Gun Bang, Youngjung Uh

요약:3D 가우시안 스플래팅(3DGS)의 시간에 따른 변형을 통해 동적 장면을 표현하는 기존 연구들은 복잡한 동적 장면을 정확하게 재구성하는 데 실패한다. 본 논문에서는 이러한 실패의 원인을 변형 필드가 좌표를 입력받는 함수로 표현되어있기 때문이며, 가우시안별 임베딩과 시간 임베딩을 입력받는 함수로 정의하여 재구성의 정확도를 높인다. 더 많은 기법과 예시들은 프로젝트 페이지에서 볼 수 있다.

프로젝트 페이지: https://jeongminb.github.io/e-d3dgs/

이 외의 연구내용은 연구실 홈페이지에서 볼 수 있다.
https://vilab.yonsei.ac.kr/publications

[사진1,2. ECCV 2004에서 논문을 발표하는 권민기, 윤영식]

[사진3,4. ECCV 2004에서 논문을 발표하는 배정민, 김서하]