[CV] Object Detection 1stage detectors

 

2 stage detector는 localizatin과 classification을 모두 해야 학습이 진행되기 때문에 속도가 매우 느리다는 단점 때문에 1 stage detector가 등장하게 되었다. 

 

1 stage detectors
- localization, classification 동시에 진행
- 전체 이미지에 대해 특징 추출, 객체 검출이 이루어짐 -> 간단하고 쉬운 디자인
- 속도가 매우 빠름 (Real-time detection)
- 영역을 추출하지 않고 전체 이미지를 보기 때문에 객체에 대한 맥락적 이해가 높음 (Background error가 적음)

 

 

YOLO

• YOLO v1 : 하나의 이미지의 Bbox와 classification 동시에 예측하는 1 stage detector 등장
• YOLO v2 : 빠르고 강력하고 더 좋게, 3가지 측면에서 model 향상
• YOLO v3 : multi-scale feature maps 사용
• YOLO v4 : 최신 딥러닝 기술 사용, (BOF : Bag of Freebies, BOS: Bag of Specials)
• YOLO v5: 크기별로 모델 구성 (Small, Medium, Large, Xlarge)

- Region proposal 단계 X
- 전체 이미지에서 bbox 예측과 클래스를 예측하는 일을 동시에 진행
- 이미지, 물체를 전체적으로 관찰하여 추론하기 때문에 맥락적 이해가 높아짐

 

Network

- GoogleNet의 변형 버전으로 24개의 Conv layer로 특징을 추출하고 2개의 fc layer로 box의 좌표값과 확률을 계산함

1. 입력 이미지를 7 X 7 그리드 영역으로 나눔
2. 각 그리드 영역마다 B개의 서로 다른 bbox와 confidence score를 계산함 (B=2)
3. 각 그리드 영역마다 C개의 class에 대해 해당 클래스일 확률을 계산함 (C=20)

 

1. 하나의 그리드는 총 30개의 채널을 가짐
2. 총 30개의 채널 중 맨 앞 5개의 채널은 첫번째 bbox의 정보를 담는다 (x,y,w,h, confidence score)
3. 6~10번째 채널은 두번째 bbox의 정보를 담음 (grid cell마다 2개의 bbox가 존재함)
4. 나머지 20개의 채널은 class의 score를 의미함 (yolo에서 사용된파스칼 데이터셋의 클래스는 총 20개)
5. 각각의 class score는 각 bbox 두개의 확률을 각각 예측한다. 

 

 

=> 총 7*7*2 = 98 개의 예측 cell이 만들어 진다. 이 98개의 cell을 threshold값으로 필터링 후 descending하고, NMS 연산을 수행한다. 

 

Loss

 

장점

• Faster R-CNN에 비해 6배 빠름
• 다른 real-time detector에 비해 2배 높은 정확도
• 이미지 전체를 보기 때문에 클래스와 사진에 대한 맥락적인 정보를 가짐
• 물체의 일반화된 표현을 학습함 -> 새로운 도메인에 대한 이미지에 대해서도 좋은 성능을 보임

 

단점

• 7X7 그리드 영역으로 나뉘어 bbox predcition -> 그리드보다 작은 크기의 object 검출 X
• 신경망을 통과하며 마지막 feature 사용 -> 정확도 하락

 

YOLOv2

- 정확도, 속도, 더 많은 클래스를 예측하는 방향으로 모델의 성능을 높임
- Batch Normalization : mAP 2% 성능 향상
- High Resolution Classifier
   - YOLOv1: 224x224 이미지로 사전 학습된 VGG를 448x448 Detection Task에 적용
   - YOLOV2: 448x448 이미지로 새롭게 finetuning
   -> mAP 4% 정도 성능 향상
- Convolution with anchor boxes : FCN layer 제거, Anchor box를 도입, K means clusters on COCO datasets
(5개의 anchor box)
- 좌표 값 대신 offset 예측하는 문제가 단순하고 학습하기 쉬움 : mAP 5% 정도의 성능향상
- Fine-grained features
   - 크기가 작은 feature map은 low level 정보가 부족함
   - Early feature map은 작은 low level 정보를 담음
  -> Early feature map을 late feature map에 합쳐주는 layer 도입
  - 26x26 feature map을 분할후에 결합을 함
- Multi-scale training : 다양한 입력 사이즈의 이미지 사용

- ImageNet (classification) 데이터셋과 COCO (detection) 데이터셋을 함께 사용
- WordTree 구성 : 9418개의 범주

 

 

 

 

YOLO v3

- Backbone을 Darknet53으로 변경함
- Skip connection을 적용함
- Max pooling을 사용하지 않고 대신 Convolution stride 2를 사용함
- ResNet-101, ResNet-142와 비슷한 성능을 지니고 FPS가 높다는게 장점

 

 

 

RetinaNet

1-Stage Detector는 RPN이 없고 그리드별로 bounding box를 무조건 예측하기 때문에 background를 잡는 경우가 더 많이 생겨서 클래스 불균형문제가 발생한다.

Class 불균형
- Positive sample(객체) < negative sample(배경)
Anchor box 대부분 배경이다.
- 2 Stage Detector의 경우 region proposal에서 background sample을 제거한다.
Positive/Negative sample 수를 적절하게 유지한다.
Cross Entropy에 Scaling Facor를 추가하였다.
새로운 Loss function을 제시했다 : CSE + scaling factor
쉬운 예제에 적은 가중치를 주고 어려운 예제에 큰 가중치를 부여한다.

Focal Loss
1) Object detection에서 back ground와 class의 imbalance 조정
2) Object detection 뿐만 아니라 class imbalance가 심한 dataset을 학습할 때 모두 활용 가능함 

 

 

 

 

 

SSD

SSD	YOLO
300X300 input	448X448 input
2개의 fc layer	1X1 Conv 사용해 FC layer X

 

 

SSD
- Extra Conv layer에 나온 feature map들은 모두 detection 수행
- FC layer 대신 Conv layer 사용해 속도 향상
- Default box (anchor box)  사용해 서로 다른 scale과 비율을 가진 미리 계산된 box 사용

 

 

Network

VGG 16 (Backbone) + Extra Conv Layers

input : 300X300

 

Multi scale feature maps

 

anchor box들의 중심점의 좌표와 class의 개수 + 1 (background) => 총 25개의 예측값이 나옴

 

NBbox 는 0.2~0.9까지 선형적으로 scale을 늘려나가며 총 6개의 default box를 활용함

 

 

 

Default Box

feature map의 각 cell마다 서로 다른 scale, 비율을 가진 미리 정해진 box를 생성함
Faster R-CNN의 anchor box와 유사함

최종적으로 총 8732개의 default box를 사용하게 된다. 

Training

- Hard Negative Mining을 수행
- NMS를 수행