[CV] Object Detection Neck 정리

본 포스팅은 Naver Boostcamp AI Tech 5기
Object Detection 강의 자료를 바탕으로 작성되었습니다. 

 

Neck 등장 배경

기존의 RPN은 backbone network를 통과한 마지막 feature map만 사용하여 RPN을 통한 ROI를 추출하였다. 

-> 중간에 있는 feature들을 사용하기 위해 Neck 등장

- feature map 은 low level(큰 feature map)은 작은 객체를, high level (작은 feature map)은 큰 객체를 추출함
 (high level에서는 semantic 정보가 풍부하지만 localization 정보가 부족, low level에서는 localization 정보가 풍부하지만 sementic 정보가 부족)
- Back bone을 통과한 feature map에서 다양한 크기의 객체를 예측해야 하는데 마지막 layer 만 활용하면 작은 객체를 추출하기 어려움 
- 기존의 RPN은 backbone network를 통과한 마지막 feature map만 사용하여 RPN을 통한 ROI를 추출하였다.  
- 중간에 있는 feature들을 잘 섞어서 풍부한 정보를 얻게 하기 위해 Neck 등장

 

 

 

FPN (Feature Pyramid Network)
이미지 자체의 사이즈를 조절해 feature 추출

 

1. High level에서 low level에 semantic 정보를 전달해야 하므로 top-down path way를 추가

-> pyramid 구조를 통해 high - leow로 순차적으로 정보 전달

 

 

2. Lateral connection방식으로 두개의 feature merge

 

 

3. 두 개의 feature의 shape이 다르기 때문에 bottom-up 과정에서 나온 feature map은 1 * 1 conv layer를 통과해 channel size를 늘려 줌

 

 

4. Top-down에서 나온 feature map은 upsampling을 통해 width와 height을 높여줌 (Nearest Neighbor Upsampling 기법 사용)

 

 

 

전체 Pipeline
Backbone : ResNet 사용

ResNet에는 총 4개의 stage가 있으며, pooling으로 w, h가 절반으로 줄어듦

 

최종적으로 출력된 RoI를 대상으로 NMS를 수행함 -> 1000개의 ROI로 만듦
각 ROI가 어떤 feature map에서 나온 건지 알 수 없기 때문에 Mapping과정이 필요함
계산된 k값이 작을 수록 low-level임을 의미

 

 

 

PANet (Path Aggregation Network)

FPN에서는 너무 많은 feature 가 conv layer를 통과해 정보가 top으로 잘 갈 수 있는지 의문 때문에 등장

 

 

-> FPN에서의 Top Down 이후 다시 Bottom up 수행함

 

 경계에 있는 RoI에 대해서는 K값 계산이 제대로 대응이 안됨 

• FPN : 하나의 stage에서 ROI projection & Pooling
• Adapted Feature Pooling : 모든 stage에서 ROI projection & Pooling

 

 

 

DetectoRS

: 같은 것을 두 번씩 반복적으로 보면 성능이 좋아지는 지 확인한 모델

Recursive Feature Pyramid (RFP)
backbone을 통해 FPN 된 결과물을 다시 Backbone에 학습시킴

학습속도가 매우 느림 (한번 Neck을 통과한 stage들은 ASPP를 거쳐서 다시 한번 feature map들과 합쳐짐)

 

ASPP
Receptive field를 늘리는 방법으로 하나의 feature map에서 pooling을 진행할 때 diliation rate를 변화시켜가며 receptive field를 키워나가며 pooling

 

 

 

BiFPN (Bi-directional Feature Pyramid)

기존의 PANet을 간소화 한 모델로 효율성을 위해 feature map이 한 곳에서만 오는 노드들을 제거

 

- FPN과 같이 단순하게 summation을 하는 게 아닌 각 feature 별로 가중치 부여 후 summation
- 모델 사이즈는 거의 증가하지 않음
- feature 별 가중치를 통해 중요한 feature를 강조해 성능이 향상됨

 

 

NASFPN

기존 FPN, PANet의 문제점인 top-down, bottom-up 의 정해진 pathway로 feature map을 합치는 것을 해결한 모델

NAS (neural architecture search)를 통해서 최적의 FPN architecture를 찾으려고 시도

 

단점
- COCO dataset, ResNet 기준으로 찾은 architecture로 범용적이지 못함 (데이터셋이나 backbone이 바뀌면 다시 학습해야함)
- High cost

 

 

 

 

AugFPN

high level feature는 low level로 가기 위해서 channel의 수를 줄이는 연산만 수행하기 때문에 정보손실 발생했는데 1개의 feature map에서 RoI를 생성하는 것으로 이 문제를 어느 정도 해결함

Residual Feature Augmentation
Ratio - invariant Adatpive Pooling : 다양한 scale의 feature map 생성 (256 channel)

 

 

동일한 scale로 upsamplig 한 뒤 가중치를 두고 합침