[CV] Object Detection Overview (evaluation 방법)

 

본 포스팅은 Naver Boostcamp AI Tech 5기 Object Detection 강의 자료를 바탕으로 작성되었습니다. 

 

0. Object Detection이란

한 물체 (single object)가 아닌 여러 물체에 대해 어떤 물체인지 클레스를 분류하는 classification 문제와 그 물체가 어디에 있는지를 Bounding box를 통해 위치 정보를 나타내는 Localization 문제를 모두 포함한다. 

 

 

1. History

 

 

 

2. Evaluation

: Object Detection에서의 정확도 측정은 Ground Truth와 Prediction간의 비교를 통해 이루어짐

이미지 내에 객체가 어디에 존재하는 지 bounding box로 찾고, 찾은 위치에 해당하는 박스 내부의 객체가 실제 GT에 있는 클래스와 일치하는 지 여부를 비교함

 

1) Confusion matrix

 

Precision (정밀도)

: 검측된 것들 중 정답을 맞춘 것의 비율이 어느 정도 인지 -> 검출 결과가 얼마나 정확한지 알 수 있음

 

 

Recall (재현율)

: GT 중에서 얼마나 정답을 맞추었는지 -> 검출되어야 할 객체 중 제대로 검출되었는 지

 

 

2 ) PR Curve

정밀도와 재현율은 반비례 관계
정밀도와 재현율 각각으로 성능을 평가하는 것은 적절하지 않으며, 두 값은 반비례 관계이기 때문에 모두 고려하여 정확도를 평가해야 함

PR Curve 예시

 

Prcurve / recall과 IOU threshold의 관계를 보여주는 그래프

 

 

3) AP (Average Precision) & mAP (mean Average Precision)

- Average Precision의 계산은 Recall을 0부터 0.1단위로 증가시키며 각 단위의 Precision 값을 계산해 평균을 낸 뒤 계산한다.

- 11단위의 Recall 값에 따른 Precision 값들의 평균을 의미한다. 

 

- 전체 클래스 개수의 AP 계산 후 평균 낸 값이 mAP

 

 

3 ) IOU (Interaction Over Union)

: GT와 Prediction의 겹치는 영역을 의미함

주로 mAP 50 (IOU > 0.5인 경우 True) 사용

IOU Threshold와 recall의 관계

 

 

4) FPS (Frames Per Second)

: 1초당 처리 가능한 frame 숫자로 높을 수록 좋음

 

 

 

5) FLOPS (Floating Point Operations)

: Model이 얼마나 빠르게 동작하는 지 측정하는 metric으로 연산량 횟수를 의미함