[paper review] A Survey on Instance Segmentation: State of the art

Instance segmenation을 위한 review paper정리

• instance segmenation issue
  • semantic segmentation + object detection으로 된 문제로써 좀 더 풀기 어렵다
  • 일반적으로 semantic segmentation에 대해서는 정확한 localization과 recognition이 필요함과 더불어서 segmentation에 대한 computational cost가 좀 더 효율적이 여야 된다. 
  • 또한 object detection의 경우에서는 feature representation이 잘되어저야 하는데 기존에는 SIFT, HOG 등 local descriptor를 사용한 방법을 많이 사용하거나 Fisher Vector처럼 exploring 한 접근 법도 많이 사용하고 있었다 
  • detection의 경우는 inference time과 accurate detection과의 trade off이기도 하며 image scale에 대해서도 많은 challenge가 필요하다.
  • 이를 합친 instance segmentation에서는 small object에 대해서는 issue를 유발하고 있으며 CNN layers로 찾는 게 challenge가 되고 있음. (receptive field, dilated convolution )
  • 추가적으로 geometric transformation과 occlusions에 취약하다는 좀더 해당이 된다.

occlusion : Put simply, occlusion in an image occurs when an object hides a part of another object

Instance segmentation method

Classification of Mask proposals

• 가장 초창기에 사용되었던 방법으로 two stage로 문제를 푸는 방법을 말한다. 
• Faster RCNN 같은 RPN을 사용하여 문제를 푸는 방법을 의미한다.
• Selective Search를 통해서 ROI polling을 하여 mask를 뽑아낸다. (자세한 내용은 Faster RCNN을 보면 된다)  
  • 속도는 two stage임으로 optimize 하기가 어려운 단점이 있으며 detection scale에 issue가 있는 문제점이 있다. 

Detection followed by segmentation 

• 지금도 많이 사용하고 있는 방안으로 Mask RCNN의 방법이면서 개선된 버전으로 연구가 계속되고 있다. 
• Faster RCNN에서 몇 개의 CNN layer로 되어있는 branch를 넣어서 mask도 prediction 하는 instance segmentation이 효과적으로 나오는 방식이다. 

Labelling pixels followed by clustering

• 다른 접근법은 2개의 network로 각각 학습을 시켜 하나는 semantic segmentation을 하게 하며 나머지는 class를 학습시킨 뒤에 후처리로 funsion을 하는 방법이 있다. 
• 이 방법의 경우 high resolution을 잘 찾아지는 장점이 있으나 정확도는 mask rcnn에 비해서 낮게 나옴을 볼 수 있다.

Dense sliding window methods

• 이 방법의 경우에서는 기존의 방법과는 다르게 localization을 더 잘 뽑아내기 위해서 feature을 아주 세밀하게 뽑아내었으며 여러 

• 위와 같은 classification으로 풀거나 Detection후에 푸는 방법의 경우 two stage 기법으로 묶을 수 있으며 
• Labeling 후에 clustering을 하는 방법은 multi stage
• Dense sliding을 하는 방법은 one stage방법으로 구별을 할 수 있다. 
• Single stage의 경우에서는 box와 mask와 동시에 구하는 반면에 two stage나 multi stage의 경우 순차적으로 계산하는 방식이라고 볼 수 있다. 

따라서 해당하는 method는 아래의 그림과 같이 표현도 가능하다. 

다음번에는 two stage instance segmentation에 관한 논문을 정리해보고자 한다.