GAN

D : disriminatorr, G : Generative

$$ min_G max_V V(D,G) $$

$$ V(D, G) = E_{x~p_{data(x)}}[logD(x)] + E_{z~p_{z(z)}}[log(1-D(G(z))] $$

 

GAN Tutorial

Google Colaboratory Notebook

 

Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera

 

1시간만에 GAN 완전 정복하기

2017년, 공부에 참고한 영상

 

영상 정리 내용

• DCGAN : convolution, deconvolution을 사용
  • latent vector arithmetic
  • man with glasses vector - man without glasses vector + woman without glasses vector = woman with glasses
• LSGAN (Least Squares GAN)
  • G에서 D를 엄청나게 잘 속이는 데이터를 생성했다고 해도 decision boundary와 멀리떨어진 것은 그렇게 좋지 못하다고 판단. 실제 데이터 분포와 가깝게 decision boundary와 가깝게 몰아줌. D에서 sigmoid layer를 제거하고 로스값을 수정해서 D의 값이 1이 넘어갈 때 ( = G가 엄청나게 잘 속이는 데이터를 만들었을때)도 1과 가까운 방향으로 학습이 되게 로스가 계산되게 함.
• Semi-Supervised GAN
  • github.com/yunjey
  • D 는 0,1 (진짜, 가짜)를 구분하는게 아니라 클래스를 구분하고
  • latent vector에 class 를 같이 넣어서 Generative

• ACGAN (Auxiliary Classifier GAN)
  • D의 task가 두 개 : 진짜 가짜 구분 & 클래스 구분
• CycleGAN : Unpaired Image-to-Image Translation
  • 데이터 만 장 정도면 의미있는 결과가 나올 듯
• StackGAN : Text to Photo-realistic Image Synthesis
  • ex. 새가 날고 있다! → 새가 날고 있는 이미지 생성
  • 사이즈가 작은 경우 (64x64)는 비교적 잘 되는데 그 이상으로 큰 건 잘 안됨
  • → 저해상도 이미지 (64x64)를 먼저 만들고 upsampling
  • z vector size를 키워도 똑같 

G2에 흰색 새를 넣었을 때 출력은 꼭 흰색 새이어야만 할까? G2는 D2만 속이면 되고 D2를 학습할 때는 여러가지 특징을 가지는 이미지들이 학습이 될텐데??

꼭 흰색 새만 나오는 것은 아니지만, G2의 입장에서 주어진 입력데이터에서 색 또는 다른 특성을 바꾼 이미지를 생성해내는 것보다 입력데이터에서 사이즈만 키워 업샘플링하는게 가장 쉬운 태스크일 것이기 때문에 흰색 새만 나온다.~ 는게 발표자의 의견

• Visual Attribut Transfer
• User-Interactive Image Colorization

Future of GAN

• BEGAN ( Boundary Equilibrium GAN)
  • GAN에 학습이 잘 되고 있는지 확인할 loss 값같은게 없었는데 그 방법이 제시됨
• Reconstruction Loss
  
  • z 값 만드는 방법 
  • G는 학습안하고 back propagation 해서 z를 업데이트

• Deconvolution Checkboard Artifacts
• Adaptation GAN to Machine Translation
  • supervised learning에서 I love you 라는 문장을 한글로 번역한다고 할 때 ‘나는 너를 사랑해’라는 하나의 정답을 주고 학습을 하게되는데 실제로는 같은의미를 가지는 다른 문장이 많을 수 있다. 이를 극복하기 위해서 생성
  • 발표자님의 아이디어 모델이라고 했음
  • G는 영어문장을 받고 한글문장을 생성하고 D로 그 두 문장이 같은지 판단