Data Science LAB

레이블의 분포가 불균형한 데이터셋을 학습시킬 때 예측 성능에 문제가 발생할 수 있는데, 이는 이상치 레이블이 정상 레이블의 데이터 건수에 비해 너무 적기 때문에 발생하는 현상이다. 즉, 이상 레이블의 데이터는 매우 적기 때문에 다양한 유형을 학습하지 못하는 반면 정상 레이블의 데이터 건수는 매우 많아 일방적으로 정상 레이블에 치우친 학습을 수행해 제대로된 이상 데이터 검출이 어려워진다. 이러한 문제점을 해결하기 위한 방법으로 오버샘플링/언더샘플링의 방법이 있다. OverSampling 이상치 레이블과 같이 적은 데이터 셋을 증식하여 학습에 필요한 데이터를 확보하는 방법이다. 동일한 데이터를 단순히 증식시키면 과적합이 되기 때문에, 원본 데이터의 피처 값들을 조금씩 변경하여 증식한다. 대표적인 오버샘플링 ..

안녕하세요! 오늘은 Python을 이용하여 기초 통계량을 구하는 방법에 대해서 포스팅해보려고 합니다! 중심 통계량 : 데이터의 중심 경향을 나타내는 수치 import numpy as np from scipy import stats x = [1,3,5,7,9] - 평균 np.mean(x) - 중앙값 np.median(x) - 최빈값 stats.mode(x) 변동 통계량 데이터의 변동성을 나타냄 - 범위 np.max(x) - np.min(x) - 편차 및 변동 deviation = x - np.mean(x) variation = sum(deviation**2) variation - 분산 np.var(x) - 표준편차 np.std(x) - 사분위수 #제 1 사분위수 np.quantile(x,0.25) 형태 통..

그 동안 머신러닝을 공부하면서 추천 시스템에 대한 공부는 하지 않았었는데 이번 기회에 공부해보려고 한다..!처음 접하는 거라 신기하기도 하고, 유튜브나 넷플릭스 등등 여러 추천 알고리즘들에 대해 궁금한게 많았는데 차근차근 공부해보려고 한다...! 추천 시스템 이란? 추천 시스템(推薦system)은 정보 필터링 (IF) 기술의 일종으로, 특정 사용자가 관심을 가질만한 정보 (영화, 음악, 책, 뉴스, 이미지, 웹 페이지 등)를 추천하는 것이다. 추천 시스템에는 협업 필터링 기법을 주로 사용한다. 소셜 북마크 사이트에서 링크를 사람들에게 추천하고 무비렌즈 데이터 세트에서 영화를 추천하는 방법등이 이에 속한다. 정보 필터링 만들기 - 위키백과, 우리 모두의 백과사전 편집기가 지금 로드됩니다. 몇 초 후에도 이..

NMF 개요 NMF는 Truncated SVD와 같이 낮은 랭크를 통한 행렬 근사 방식의 변형이다. NMF는 원본 행렬 내의 모든 원소 값이 모두 0 이상이라는게 보장되면 좀 더 간단하게 두 개의 양수 행렬로 분해될 수 있는 기법을 지칭한다. 4×6 원본 행렬 V는 4×2 행렬 W와 2×6행렬 H로 근사해 분해될 수 있다. 행렬 분해(Matrix Factorization)는 일반적으로 SVD와 같은 행렬 분해 기법을 통칭한다. 이처럼 행렬 분해를 하게 되면 W와 H행렬을 길고 가는 행렬W와 작고 넓은 행렬 H로 분해된다. 분해된 행렬은 잠재 요소를 특성으로 가지게 되는데, 분해 행렬 W는 원본 행에 대해 이 잠재 요소의 값이 얼마나 되는지에 대응하며, 분해 행렬 H는 이 잠재 요소가 원본 열로 어떻게 구..

SVD 개요 SVD는 PCA와 비슷하게 행렬 분해 기법을 이용하지만, PCA는 정방행렬만을 고유 벡터로 분해하는 반면, SVD는 행과 열이 다른 모든 행렬에 적용할 수 있다. 일반적으로, SVD는 m×n 크기의 행렬 A를 다음과 같이 분해하는 것을 의미한다. SVD는 특이값 분해라고도 불리며, 행렬 U와 V에 속하는 벡터는 특이벡터이다. 모든 특이벡터는 서로하는 성질을 가진다. U : m×m 크기의 행렬, 역행렬이 대칭 행렬 ∑ : m×n 크기의 행렬, 비대각 성분이 0 V : n×n크기의 행렬, 역행렬이 대칭 V,U는 직교행렬 랜덤행렬 생성 import numpy as np from numpy.linalg import svd np.random.seed(121) a = np.random.randn(4,4..

LDA 개요 LDA는 선형 판별 분석법으로, PCA와 매우 유사하게 입력 데이터셋을 저차원 공간에 투여해 차원을 축소하는 기법이다. PCA와의 차이는 LDA는 지도학습의 분류에서 사용하기 쉽도록 개별 클래스를 분별할 수 있는 기준을 최대한 유지하면서 차원을 축소한다. 반면 PCA는 입력 데이터의 변동성의 가장 큰 축을 찾았지만, LDA는 입력 데이터의 결정 값 클래스를 최대한으로 분리할 수 있는 축을 찾는다. #참고 2022.03.05 - [Python] PCA(Principal Component Analysis) [Python] PCA(Principal Component Analysis) PCA 개요 PCA(Principal Component Analysis)는 가장 대표적인 차원 축소 기법으로 여러 ..