[Python] LDA(Linear Discriminant Analysis)

LDA 개요

LDA는 선형 판별 분석법으로, PCA와 매우 유사하게 입력 데이터셋을 저차원 공간에 투여해 차원을 축소하는 기법이다. PCA와의 차이는 LDA는 지도학습의 분류에서 사용하기 쉽도록 개별 클래스를 분별할 수 있는 기준을 최대한 유지하면서 차원을 축소한다. 반면 PCA는 입력 데이터의 변동성의 가장 큰 축을 찾았지만, LDA는 입력 데이터의 결정 값 클래스를 최대한으로 분리할 수 있는 축을 찾는다.

 

 

#참고

2022.03.05 - [Python] PCA(Principal Component Analysis)

[Python] PCA(Principal Component Analysis)

 

LDA는 특정 공간상에서 클래스 분리를 최대화하는 축을 찾기 위해 클래스 간 분산과 클래스 내부 분산의 비율을 최대화하는 방식으로 차원을 축소한다. 즉, 클래스 간 분산은 최대한 크게, 클래스 내부 분산은 최대한 작게 가져가는 방식이다.

 

1. 클래스 내부와 클래스 간 분산 행렬을 구한다. 이 두 행렬은 입력 데이터의 결정 값 클래스별로 개별 피처의 평균 벡터를 기반으로 구한다. 

2. 클래스 내부 분산 행렬을 아래 그림과 같이 고유벡터로 분해한다. 

3. 고유값이 큰 순서대로 K(LDA 변환 차수)개만큼 추출한다. 

4. 고유값이 가장 큰 순으로 추출된 고유벡터를 이용하여 새롭게 입력데이터를 변환한다. 

 

 

 

 

iris 데이터셋에 적용

데이터셋 로드 후 스케일 적용

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris

iris = load_iris()
iris_scaled = StandardScaler().fit_transform(iris.data)

LDA는 PCA와는 다르게 지도학습이다. 

 

 

 

 

LDA 적용

lda = LinearDiscriminantAnalysis(n_components=2)
lda.fit(iris_scaled,iris.target)
iris_lda = lda.transform(iris_scaled)
print(iris_lda.shape)

n_components = 2로 설정하여 LDA 알고리즘을 적용하였다.

 

 

 

 

시각화

import pandas as pd 
import matplotlib.pyplot as plt
%matplotlib inline

lda_columns = ['lda_component_1','lda_component_2']
iris_df_lda = pd.DataFrame(iris_lda,columns = lda_columns)
iris_df_lda['target'] = iris.target

markers = ['^','s','o']
for i,marker in enumerate(markers):
    x_axis_data = iris_df_lda[iris_df_lda['target'] == i]['lda_component_1']
    y_axis_data = iris_df_lda[iris_df_lda['target'] == i]['lda_component_2']
    
    plt.scatter(x_axis_data,y_axis_data,marker = marker,label = iris.target_names[i])
    
plt.legend(loc='upper right')
plt.xlabel('lda_component_1')
plt.ylabel('lda_component_2')
plt.show()