Data Science LAB

KMeans Clustering이란? 가장 자주 사용되는 군집화 알고리즘으로, 데이터셋을 K개의 군집으로 군집화하는 알고리즘이다. 임의의 군집 중심점 개수(K)를 설정하여 해당 중심에 가장 가까운 데이터를 선택한다. 군집 중심점은 선택된 데이터의 평균 지점으로 이동하고, 이동된 중심점에서 다시 가까운 포인트를 선택, 다시 중심점을 평균 지점으로 이동하는 프로세스를 반복적으로 수행한다. 더이상 중심점의 이동이 없을 때까지 반복을 계속한다. KMeans Process 1. 군집화의 기준이 되는 중심을 구성하려는 군집의 개수만큼 임의의 위치에 가져다 놓음 2. 각 데이터는 가장 가까운 곳에 위치한 중심점에 소속 3. 각 데이터의 소속이 결정되면 군집 중심점을 소속된 데이터의 평균 중심으로 이동 4. 바뀐 중심..

드디어 Konlpy를 설치해서 주피터 노트북에서 사용할 수 있게 되었다! https://suhye.tistory.com/entry/%E3%85%9C?category=1037658 [Python]KONLPy 설치 방법 및 에러 해결 드디어드디어드디어! 아나콘다에서 에러를 해결하고 konlpy를 실행할 수 있게 되었다! konlpy 실행이 안돼서 한글 텍스트 분석을 아예 못했었는데 이제 할 수 있게 되었다(감격) Konlpy 설치 방법 1. JA suhye.tistory.com 라이브러리 및 데이터셋 로딩 import konlpy import pandas as pd train = pd.read_csv(r'C:\Users\Naver\ratings_train.txt',sep='\t') train.head() 먼..

문서 사이의 유사도 측정은 주로 코사인 유사도(Cosine Similarity)를 사용한다. 벡터의 크기 보다는 벡터의 상호 방향성이 얼마나 유사한지에 기반하여 측정한다. 두 벡터의 사잇각에 따라 상화 관계는 유사하거나 관련이 없거나 아예 반대 관계가 될 수 있다. 두 벡터 A,B의 내적 값은 두 벡터의 크기를 겂한 값에 코사인 각도 값을 곱한 값이다. 따라서 유사도(similarity)는 다음과 같이 두 벡터의 내적을 총 벡터 크기의 합으로 나눈 것이다. 두 넘파이 배열에 대한 코사인 유사도 구하는 함수 생성 import numpy as np def cos_similarity(v1,v2): dot_product = np.dot(v1,v2) l2_norm = (np.sqrt(sum(np.square(v1..

문서 군집화란? 비슷한 텍스트 구성의 문서를 군집화(Clustering)하는 것이다. 동일한 군집에 속하는 문서를 같은 카테고리 소속으로 분류하는 것이지만, 비지도학습 기반으로 동작한다는 점이 텍스트 분류와는 다르다. 데이터셋 다운 https://archive.ics.uci.edu/ml/datasets/Opinosis+Opinion+%26frasl%3B+Review UCI Machine Learning Repository: Opinosis Opinion ⁄ Review Data Set Opinosis Opinion ⁄ Review Data Set Download: Data Folder, Data Set Description Abstract: This dataset contains sentences ext..

Topic Modeling 토픽 모델링이란 문서 집합에 숨어 있는 주제를 찾아내는 것이다. 머신러닝 기반의 토픽 모델은 숨겨진 주제를 효과적으로 표현할 수 있는 중심 단어를 함축적으로 추출해낸다. 토픽모델링에서는 LDA(Latent Dirichlet Allocation)을 주로 활용한다. 흔히 머신러닝에서 사용하는 LDA(Linear Discriminant Analysis)와는 다른 알고리즘이므로 주의해야한다. 기본 데이터셋인 20뉴스그룹 데이터 셋을 이용하여 토픽모델링을 진행해보려고 한다. 20뉴스그룹 데이터셋에는 20가지의 주제를 가진 뉴스그룹의 데이터가 있는데, 그 중 8개의 주제를 추출하고, 이들 텍스트에 LDA 기반의 토픽 모델링을 적용해보려고 한다. 필요한 라이브러리 로딩 후 카테고리 추출 f..

지난 포스팅에서 WordNet과 SentiWordNet에 대해 공부하였으니 IMDB 영화 감상평 감성 분석을 SentiWordNet 기반으로 수행해 보려고 한다. https://suhye.tistory.com/entry/%E3%85%87-1?category=1040378 [Python] 감성분석 - 비지도 학습 이전 포스팅(지도학습)에 이어서 비지도 학습의 감성 분석까지 공부해 보려고 한다! https://suhye.tistory.com/entry/mn?category=1040378 [Python] 감성 분석(Sentiment Analysis) - 지도학습 감성분석 이란? 감.. suhye.tistory.com 감성 분석 순서는 다음과 같다. 1. 문서를 문장 단위로 분해 2. 문장을 단어 단위로 토큰화..