Data Science LAB

1. 모든 컬럼의 결측치를 각 컬럼의 중앙값으로 채우기 df.fillna(df.mean(numeric_only=True)) df.isna().sum().sum() # 0 2. 특정 컬럼의 결측치를 그 컬럼의 중앙값으로 채우기 df['col'].fillna(df['col'].median())

결측치 처리 방법은 크게 두가지로 나뉜다. 1. 삭제(Delete) 2. 대체, 보간(Imputation) 1. 삭제(Deletion) 먼저 데이터를 삭제하는 방법은 단순하게 결측치가 존재하는 행이나 열을 삭제하는 방법이다. 결측치가 존재하는 전체 행을 삭제한다. 데이터셋에서 해당 열의 80% 이상이 결측치로 구성되어 있으면 주로 삭제한다. 2. 보간(Imputation) 1. 단순대치(중앙값, 평균) : 결측치를 해당 열의 평균이나 중앙값으로 대체하는 방법이다. 2. 단순대치(최빈값) : 결측치를 해당 열의 최빈값으로 대체하는 방법으로 범주형 변수에서 사용 가능하다. 3. KNN 알고리즘(KNNImputer) : 결측치의 값을 가장 가까운 값(feature similarity)를 적용하여 대체한다. 이..

pandas - profiling을 이용하면 EDA를 직접하지 않아도 됨 1. pandas profiling 설치 >> pip install -U pandas-profiling 2. 라이브러리 불러오기 import pandas_profiling 3. 실행 import pandas as pd from sklearn.datasets import load_iris import pandas_profiling from pandas_profiling import ProfileReport iris = load_iris() iris = pd.DataFrame(iris.data,columns=iris.feature_names) iris['class'] = load_iris().target iris['class'] = i..

레이블의 분포가 불균형한 데이터셋을 학습시킬 때 예측 성능에 문제가 발생할 수 있는데, 이는 이상치 레이블이 정상 레이블의 데이터 건수에 비해 너무 적기 때문에 발생하는 현상이다. 즉, 이상 레이블의 데이터는 매우 적기 때문에 다양한 유형을 학습하지 못하는 반면 정상 레이블의 데이터 건수는 매우 많아 일방적으로 정상 레이블에 치우친 학습을 수행해 제대로된 이상 데이터 검출이 어려워진다. 이러한 문제점을 해결하기 위한 방법으로 오버샘플링/언더샘플링의 방법이 있다. OverSampling 이상치 레이블과 같이 적은 데이터 셋을 증식하여 학습에 필요한 데이터를 확보하는 방법이다. 동일한 데이터를 단순히 증식시키면 과적합이 되기 때문에, 원본 데이터의 피처 값들을 조금씩 변경하여 증식한다. 대표적인 오버샘플링 ..