어영정 교수 인공지능대학원 지도학생들과 ICCV에 논문 발표

어영정 교수(응용정보공학전공, (겸)인공지능대학원)는 지도학생들과의 연구 결과물인 아래 논문을 올해 10월 컴퓨터 비전 주요 학회인 ICCV에 발표한다.

(ICCV: IEEE/CVF International Conference on Computer Vision, h5-index=228)

이 연구는 NAVER AI LAB과의 공동연구이며, 지도학생의 NAVER AI LAB 인턴십 및 추가 공동연구를 이어가고 있다.

제목: BallGAN: 3D-aware Image Synthesis with a Spherical Background

저자: 신민정, 서윤지, 배정민, 최영선, 김현수, 변혜란, 어영정

이 논문의 개요는 다음과 같다.

1）3D-aware GAN은 GAN을 학습하는 데 사용하는 일반적인 사진 데이터셋으로부터 다양한 각도로 렌더링할 수 있는 neural radiance fields를 생성한다.

2）사진 데이터셋은 2차원 관측만 제공하므로 생성된 장면의 3차원 생김새를 사실적으로 만들기 어렵다. 특히 배경은 어느 거리에 있어도 되므로 어느 거리가 사실적인지 알 수 없다.

3）BallGAN은 배경을 구형의 면으로 표현하여 정해진 깊이로 고정한다. 이를 통해 중심객체의 형태를 사실적으로 만들고, 객체를 따로 떼어서 원하는 곳에 사용할 수 있게 된다.

4）GAN inversion을 통하면 생성되지 않은 실제 이미지의 3차원 생김새를 알 수 있고, 어떠한 배경이든 새로운 각도로 렌더링할 수 있다.

이러한 기술이 발전하여 비전문가도 3차원 모델을 손쉽게 생성할 수 있길 기대한다.

project page: https://minjung-s.github.io/ballgan