어영정 교수(응용정보공학전공, (겸)인공지능대학원)는 지도학생들과의 연구 결과물인 아래 논문들을 올해 12월 인공지능 주요 학회인 NeurIPS에 발표했다. (NeurIPS: Conference on Neural Information Processing Systems, h5-index=309)

논문 제목 I. Semantic Image Synthesis with Unconditional Generator

저자: 채정우, 조현인, 고수연, 최경묵, 어영정

project page: https://hhyunn2.github.io/SIS_UncondG/

사용자가 segmentation mask를 입력하면 그에 맞는 이미지를 생성하는 semantic image synthesis를 위한 모델을 학습하기 위해서는 기존에는 데이터셋으로 다량의 이미지들과 상응하는 segmentation mask들을 필요로 했다 (아래 그림 왼쪽). 이 연구는 segmentation mask 없이 이미지들만으로 학습된 무작위 생성기를 이용하여 semantic image synthesis를 가능하게 한다. (아래 그림 오른쪽)

논문 제목 II. Understanding the Latent Space of Diffusion Models through the Lens of Riemannian Geometry

저자: 박용현, 권민기, 최재웅, 조정효, 어영정

paper: https://arxiv.org/abs/2307.12868

디퓨전 모델은 GAN과 달리 latent space가 잘 이해되지 않고 있었다. 이 연구는 리만기하를 이용하여 디퓨전 모델의 latent space의 성질을 밝히고 (아래 그림 왼쪽), 그 성질을 기반으로 latent variable을 편집하여 결과이미지를 조종하는 방법을 제시한다. (아래 그림 오른쪽)