Data Science LAB

NMF 개요 NMF는 Truncated SVD와 같이 낮은 랭크를 통한 행렬 근사 방식의 변형이다. NMF는 원본 행렬 내의 모든 원소 값이 모두 0 이상이라는게 보장되면 좀 더 간단하게 두 개의 양수 행렬로 분해될 수 있는 기법을 지칭한다. 4×6 원본 행렬 V는 4×2 행렬 W와 2×6행렬 H로 근사해 분해될 수 있다. 행렬 분해(Matrix Factorization)는 일반적으로 SVD와 같은 행렬 분해 기법을 통칭한다. 이처럼 행렬 분해를 하게 되면 W와 H행렬을 길고 가는 행렬W와 작고 넓은 행렬 H로 분해된다. 분해된 행렬은 잠재 요소를 특성으로 가지게 되는데, 분해 행렬 W는 원본 행에 대해 이 잠재 요소의 값이 얼마나 되는지에 대응하며, 분해 행렬 H는 이 잠재 요소가 원본 열로 어떻게 구..

SVD 개요 SVD는 PCA와 비슷하게 행렬 분해 기법을 이용하지만, PCA는 정방행렬만을 고유 벡터로 분해하는 반면, SVD는 행과 열이 다른 모든 행렬에 적용할 수 있다. 일반적으로, SVD는 m×n 크기의 행렬 A를 다음과 같이 분해하는 것을 의미한다. SVD는 특이값 분해라고도 불리며, 행렬 U와 V에 속하는 벡터는 특이벡터이다. 모든 특이벡터는 서로하는 성질을 가진다. U : m×m 크기의 행렬, 역행렬이 대칭 행렬 ∑ : m×n 크기의 행렬, 비대각 성분이 0 V : n×n크기의 행렬, 역행렬이 대칭 V,U는 직교행렬 랜덤행렬 생성 import numpy as np from numpy.linalg import svd np.random.seed(121) a = np.random.randn(4,4..

LDA 개요 LDA는 선형 판별 분석법으로, PCA와 매우 유사하게 입력 데이터셋을 저차원 공간에 투여해 차원을 축소하는 기법이다. PCA와의 차이는 LDA는 지도학습의 분류에서 사용하기 쉽도록 개별 클래스를 분별할 수 있는 기준을 최대한 유지하면서 차원을 축소한다. 반면 PCA는 입력 데이터의 변동성의 가장 큰 축을 찾았지만, LDA는 입력 데이터의 결정 값 클래스를 최대한으로 분리할 수 있는 축을 찾는다. #참고 2022.03.05 - [Python] PCA(Principal Component Analysis) [Python] PCA(Principal Component Analysis) PCA 개요 PCA(Principal Component Analysis)는 가장 대표적인 차원 축소 기법으로 여러 ..

2022.03.05 - [Python] PCA(Principal Component Analysis) [Python] PCA(Principal Component Analysis) PCA 개요 PCA(Principal Component Analysis)는 가장 대표적인 차원 축소 기법으로 여러 변수 간에 존재하는 상관관계를 이용해 이를 대표하는 주성분(Principal Component)를 추출해 차원을 축소하는 기법이다. suhye.tistory.com 지난 포스팅에서 공부했었던 PCA를 다른 데이터셋을 이용하여 실습해 보려고 한다. 데이터셋 다운로드 https://archive.ics.uci.edu/ml/datasets/default+of+credit+card+clients UCI Machine Lear..

PCA 개요 PCA(Principal Component Analysis)는 가장 대표적인 차원 축소 기법으로 여러 변수 간에 존재하는 상관관계를 이용해 이를 대표하는 주성분(Principal Component)를 추출해 차원을 축소하는 기법이다. PCA 차원 축소로 인한 정보 유실을 최소화하기 위해 가장 높은 분산을 가지는 데이터의 축을 찾아 이 축으로 차원을 축소한다. 이것이 PCA의 주성분이 되는데, 분산이 데이터의 특성을 가장 잘 나타내는 것을 의미한다. 데이터에 가장 가까운 초평면을 정의하고, 이 초평면에 데이터를 투영시키는 것이다. 투영시켰을 때 데이터셋과의 평균 제곱 거리가 가장 작은 초평면을 찾고 투영 시키는 과정을 그림에 나타내었다. PCA는 제일 먼저 가장 데이터 변동성을 기반으로 첫 번..