[머신러닝/ML] 결측치 처리 방법

결측치 처리 방법은 크게 두가지로 나뉜다. 

1. 삭제(Delete)

2. 대체, 보간(Imputation)

 

 

1. 삭제(Deletion)

먼저 데이터를 삭제하는 방법은 단순하게 결측치가 존재하는 행이나 열을 삭제하는 방법이다. 

결측치가 존재하는 전체 행을 삭제한다. 

데이터셋에서 해당 열의 80% 이상이 결측치로 구성되어 있으면 주로 삭제한다. 

 

 

2. 보간(Imputation)

1. 단순대치(중앙값, 평균) : 결측치를 해당 열의 평균이나 중앙값으로 대체하는 방법이다. 

2. 단순대치(최빈값) : 결측치를 해당 열의 최빈값으로 대체하는 방법으로 범주형 변수에서 사용 가능하다. 

3. KNN 알고리즘(KNNImputer) : 결측치의 값을 가장 가까운 값(feature similarity)를 적용하여 대체한다. 이상치에 민감하다는 단점이 존재한다. 

4. Hot-deck imputation : 다른 변수에서 비슷한 값을 갖는 데이터중 하나를 랜덤 샘플링하여 그 값으로 대체하는 방법으로 결측값이 존재하는 변수가 가질수 있는 값의 범위가 한정되어 있을때 유리하다. 또한 랜덤하게 가져온 값이기 때문에 변동성을 더해 표준오차의 정확도가 조금 높아질 수 있다. 

5. Cold deck imputation : Hot-deck과 유사하게 다른 변수에서 비슷한 값을 갖는 데이터 중 하나를 선택하여 그 값으로 결측치를 대체한다. 데이터를 선택하는 과정에서 랜덤하게 선택하는 것이 아니라 어떤 규칙을 가지고 데이터를 선택한다는 점이 Hot-deck과는 다르다. 따라서 random variation이 사라진다. 

6. Regression imputation : 회귀분석을 통해 결측값을 예측하여 대체한다. 

5. MICE(Multivariate Imputation by Chained Equation) : 결측치를 여러번 대체하여 불확실성을 체크하며 결측치를 대체한다. 

 

끝

각 방법에 대한 자세한 사용방법은 나중에,,,