Data Science LAB

2022.03.05 - [Python] PCA(Principal Component Analysis) [Python] PCA(Principal Component Analysis) PCA 개요 PCA(Principal Component Analysis)는 가장 대표적인 차원 축소 기법으로 여러 변수 간에 존재하는 상관관계를 이용해 이를 대표하는 주성분(Principal Component)를 추출해 차원을 축소하는 기법이다. suhye.tistory.com 지난 포스팅에서 공부했었던 PCA를 다른 데이터셋을 이용하여 실습해 보려고 한다. 데이터셋 다운로드 https://archive.ics.uci.edu/ml/datasets/default+of+credit+card+clients UCI Machine Lear..

PCA 개요 PCA(Principal Component Analysis)는 가장 대표적인 차원 축소 기법으로 여러 변수 간에 존재하는 상관관계를 이용해 이를 대표하는 주성분(Principal Component)를 추출해 차원을 축소하는 기법이다. PCA 차원 축소로 인한 정보 유실을 최소화하기 위해 가장 높은 분산을 가지는 데이터의 축을 찾아 이 축으로 차원을 축소한다. 이것이 PCA의 주성분이 되는데, 분산이 데이터의 특성을 가장 잘 나타내는 것을 의미한다. 데이터에 가장 가까운 초평면을 정의하고, 이 초평면에 데이터를 투영시키는 것이다. 투영시켰을 때 데이터셋과의 평균 제곱 거리가 가장 작은 초평면을 찾고 투영 시키는 과정을 그림에 나타내었다. PCA는 제일 먼저 가장 데이터 변동성을 기반으로 첫 번..

DBSCAN DBSCAN은 밀도 기반의 군집화 대표 알고리즘이다. 간단하고 직관적인 알고리즘으로 데이터의 분포가 기하학적으로 복잡한 경우에도 효과적으로 군집화할 수 있다. 위의 그림과 같이 원형의 데이터 분포를 띄는 경우, KMeans 나 GMM은 군집화를 잘 수행하지 못한다. 입실론 주변 영역(epsilon) : 개별 데이터를 중심으로 입실론 반경을 가지는 원형의 영역 최소 데이터 개수(min points) : 개별 데이터의 주변 영역에 포함되는 타 데이터의 개수 입실론 주변 영역 내에 포함되는 최소 데이터 개수를 충족시키는가에 따라 데이터 포인트를 다음과 같이 정의한다. 핵심 포인트(Core Point) : 주변 영역 내에 최소 데이터 개수 이상의 타 데이터를 가지고 있을 경우, 해당 데이터를 의미 ..

GMM GMM 군집화는 군집화를 적용하고자 하는 데이터가 여러 개의 가우시안 분포를 가진 데이터 집합들이 섞여서 생성된 것이라는 가정하에 군집화를 수행하는 방식이다. 가우시안 분포는 정규 분포(Normal distribution)라고도 하며, 좌우 대칭형의 종 형태이다. GMM은 데이터를 여러개의 정규 분포가 섞인 것으로 간주하여 섞인 데이터 분포에서 개별 유형의 정규 분포를 추출한다. 전체 데이터 셋은 서로 다른 정규 분포 형태를 가진 여러 가지 확률 분포 곡선으로 구성될 수 있으며, 이렇게 서로 다른 정규 분포에 기반하여 군집화를 수행하는 것이 GMM 군집화 방식이다. GMM을 이용한 iris 데이터셋 군집화 from sklearn.datasets import load_iris from sklearn..

Mean Shift 평균 이동(Mean Shift)은 KMeans와 유사하게 중심을 군집의 중심으로 지속적으로 움직이면서 군집화를 수행한다. KMeans는 중심에 소속된 데이터의 평균 거리 중심으로 이동하지만, 평균 이동은 데이터가 모여 있는 밀도가 가장 높은 곳으로 이동시킨다. 평균 이동 군집화는 데이터의 분포도를 이용하여 군집의 중심점을 찾는다. 군집 중심점은 데이터 포인트가 모여 있는 곳이라는 생각에서 착안한 것이며 이를 위해 확률 밀도 함수를 이용한다. 일반적으로 주어진 모델의 확률 밀도 함수를 찾기 위해 KDE(Kernel Density Estimation)를 이용한다. 특정 데이터 반경 내의 데이터 분포 확률 밀도가 가장 높은 곳으로 이동하기 위해서 주변 데이터와의 거리 값을 KDE 함수의 입..

Clustering Evaluation iris 데이터셋에는 결과값에 품종을 의미하는 타깃 레이블이 있어 군집화가 얼마나 잘 이루어져 있는 지 판단할 수 있었다. 하지만 대부분의 군집화 데이터셋에는 타깃 레이블이 존재하지 않기 때문에, 데이터 내에 숨어 있는 별도의 그룹을 찾아 의미를 부여하고나, 동일한 분류 값에 속하더라도 그 안에서 더 세분화된 군집화를 추구하거나, 서로 다른 분류값의 데이터도 더 넓은 군집화 레벨화 등의 영역을 가지고 있다. 비지도학습의 특성 상 정확하게 성능을 평가하기는 어렵지만, 군집화의 성능을 평가하는 대표적인 방법으로 실루엣 분석을 사용한다. Silhouette analysis 실루엣 분석이란 각 군집 간의 거리가 얼마나 효육적으로 분리되어 있는 지를 나타낸다. 효율적으로 분..