AI with U-Seminar, Daneil Jeong

생성 네트워크(Generative model)과 함께 많이 거론되던 연구 분야는 style transfer입니다. 정확히는 서로 다른 두 domain에서 이미지를 바꾸는 과정이라 하여 image-to-image translation이라 불립니다. GAN 등장 이전에는 통계적인 방법(e.g. gram matrix)으로 style transfer를 해결하려 했습니다. style feature를 직접 구하는 방법인데 아래와 같은 결과를 만드는 것이 목표였습니다. image에서 픽셀 값들 간의 상관관계, 혹은 특정 모델에 존재하는 특정 은닉층(hidden layer)의 representation을 활용하여 style 값들을 조정하는 시도가 있었습니다. GAN에서도 이러한 image-to-image transla..

GAN은 2014년에 등장한 generative model의 종류입니다. https://aijyh0725.tistory.com/12 Generative Adversarial Nets (2014) GAN 논문 리뷰 첫번째입니다. 0. 배경 Generative Model은 초기 Boltzman machine으로 부터 시작하여 DBM(2009), VAE(2014)등이 등장하였습니다. Generative Model을 2개의 큰 특징으로 정의하면 아래와 같습니다... aijyh0725.tistory.com 두 개의 적대적인 네트워크를 활용한 GAN은 sharp한 이미지를 만들어낼 수 있지만, 고해상도(higher resolution)의 이미지를 만들어내기 어렵다는 문제, 이미지의 다양성이 적은 문제(limited..

Image-to-image translation task는 입력 이미지와 출력 이미지간의 관계를 찾아내는 작업입니다. 기존의 연구는 주로 입력과 출력의 각각의 대응되는 쌍의 이미지(pair)를 사용하였는데, 사실 이러한 데이터셋을 구축하는 것은 쉬운 일이 아닙니다. 구축하는 데 비용이 많이 들기도 하고, 또 pair 자체가 많이 없거나 명확히 규정하기 힘든 경우도 있어 실제로 데이터셋 숫자 자체도 많지 않습니다. GAN은 2014년에 처음 나온 이후로 다양한 분야에 활용되었습니다. 아래는 GAN 논문에 대한 리뷰입니다. https://aijyh0725.tistory.com/12 Generative Adversarial Nets (2014) GAN 논문 리뷰 첫번째입니다. 0. 배경 Generative M..

Computer vision task 중에는 image를 또 다른 image로 바꾸는 task가 존재합니다. 위와 같이 어떠한 input 이미지를 이용하여 output 이미지를 만들어내는 것을 img-to-img translation, 혹은 style transfer 등으로 부릅니다. 특히, input 이미지를 이용하였기 때문에 input에 conditional한 output을 만들어낸다고 표현할 수 있겠습니다. 사용할 수 있는 이미지는 위 그림과 같이 다양하게 존재합니다. 실제 RGB 이미지일 수도 있고, graphical 이미지, edge map, sketch 등등 수많은 옵션들이 존재할 것입니다. 그 중, 현대 사회에서 산업적으로도 많이 사용되는 것은 아마도 흑백사진의 컬러화와, super reso..

GAN의 학습은 굉장히 불안정합니다. GAN의 학습 불안정 중, 특정 샘플에 대하여 gradient vanishing 문제가 발생하는 경우가 있습니다. Discriminator의 decision boundary (real과 fake를 구분하는)에서 멀리 떨어져 있는 fake sample에 대하여, gradient가 너무 작아 훈련이 제대로 일어나지 않습니다. 즉, fake sample을 decision boundary에 가깝게 만들어 real sample가 구분하기 어렵기 하고 싶은데 그것이 잘 일어나지 않게 됩니다. 논문에 나온 아래 그림을 보겠습니다. 각 그래프에 파란색 선은 sigmoid의 decision boundary를 의미합니다. 주황색 선은 논문에서 사용된 기법인 least square이 적..

1. WGAN GAN의 가장 큰 문제점 중 하나는 불안정한 학습(unstable train)입니다. GAN은 아래식과 같이 데이터의 분포를 학습시키는, 즉 parameter에 대하여 데이터 분포를 실제 데이터의 분포와 비슷하게 만드는 것(maximize loglikelihood)이 목표입니다. 라벨이 따로 없기 때문에 unsupervised learning의 일종이죠. (추후에 라벨이 들어가는 conditional GAN 등이 나오긴 합니다) 그런데, P(x)는 실제로 어떠한 분포를 갖고 있는 지 알아내기 어렵습니다. GAN에서는 이를 해결하기 위해 random한 noise(latent variable) z에서 부터 원하는 분포를 찾는 과정을 거칩니다. 이 때 두 개의 적대적(adversarial) 모델..