Image segmentation: U-Net

U-Net

Biomedical 분야에서 이미지 분할(Image Segmentation)을 목적으로 제안된 End-to-End 방식의 Fully-Convolutional Network 기반 모델

Grand Challenge for Computer-Automated Detection of Caries in Bitewing Radiography at ISBI 2015와

Cell Tracking Challenge at ISBI 2015에서 수상한 모델이다.

 

end-to-end로 이미지를 학습하고

약 30장의 매우 적은 데이터 수로도 학습이 가능하다.

근접해 있는 객체들은 분리해주어야한다.

 

U 모양이라서 U-Net이라는 이름이 붙었다.

 

U-Net은 컨볼루션을 통해서 이미지 피처정보를 추출하고 ( localize)

단계를 거듭해 사이즈가 줄어든 이미지를 다시 원래 이미지와 같은 사이즈로 만든다.

(increase the resolution of the output)

 

각 단계는 2개의 convolution layer가 있고 두 번의 convolution 연산이 끝나면

feature를 추출하는 단계에서는 max pooling을 해서 down-sampling을 하고

다시 복원하는 단계에서는 up-conv, up-sampling을 한다.

 

localize단계 ( contracting path)에서 이미지의 컨텍스트 정보가 up-sampled image(expansizve path)에 전파되는데

이를 통해 up-sampling시 누락된 정보를 추정한다.

 

크기가 큰 이미지의 경우 overlap-tile 전략을 사용한다

파란 영역(tile)의 이미지를 입력하면 노란 영역(tile)의 이미지 분할 결과가 나온다.

다음 tile에 대한 결과를 얻기 위해서는 이전 입력의 일부분이 포함되어야하기 때문에 overlap-tile 전략이다.

누락된 입력데이터는 미러러링을 통해 추정된다.

 

 

keras 구현

UNET Implementation in TensorFlow using Keras API - Idiot Developer

이 글을 참고해서 구현했다.

 

 

 

결과

---

참고

U-Net: Convolutional Networks for Biomedical Image Segmentation

U-Net: Convolutional Networks for Biomedical Image Segmentation

U-Net 논문 리뷰 — U-Net: Convolutional Networks for Biomedical Image Segmentation