Data Science LAB

드디어 Konlpy를 설치해서 주피터 노트북에서 사용할 수 있게 되었다! https://suhye.tistory.com/entry/%E3%85%9C?category=1037658 [Python]KONLPy 설치 방법 및 에러 해결 드디어드디어드디어! 아나콘다에서 에러를 해결하고 konlpy를 실행할 수 있게 되었다! konlpy 실행이 안돼서 한글 텍스트 분석을 아예 못했었는데 이제 할 수 있게 되었다(감격) Konlpy 설치 방법 1. JA suhye.tistory.com 라이브러리 및 데이터셋 로딩 import konlpy import pandas as pd train = pd.read_csv(r'C:\Users\Naver\ratings_train.txt',sep='\t') train.head() 먼..

문서 사이의 유사도 측정은 주로 코사인 유사도(Cosine Similarity)를 사용한다. 벡터의 크기 보다는 벡터의 상호 방향성이 얼마나 유사한지에 기반하여 측정한다. 두 벡터의 사잇각에 따라 상화 관계는 유사하거나 관련이 없거나 아예 반대 관계가 될 수 있다. 두 벡터 A,B의 내적 값은 두 벡터의 크기를 겂한 값에 코사인 각도 값을 곱한 값이다. 따라서 유사도(similarity)는 다음과 같이 두 벡터의 내적을 총 벡터 크기의 합으로 나눈 것이다. 두 넘파이 배열에 대한 코사인 유사도 구하는 함수 생성 import numpy as np def cos_similarity(v1,v2): dot_product = np.dot(v1,v2) l2_norm = (np.sqrt(sum(np.square(v1..

문서 군집화란? 비슷한 텍스트 구성의 문서를 군집화(Clustering)하는 것이다. 동일한 군집에 속하는 문서를 같은 카테고리 소속으로 분류하는 것이지만, 비지도학습 기반으로 동작한다는 점이 텍스트 분류와는 다르다. 데이터셋 다운 https://archive.ics.uci.edu/ml/datasets/Opinosis+Opinion+%26frasl%3B+Review UCI Machine Learning Repository: Opinosis Opinion ⁄ Review Data Set Opinosis Opinion ⁄ Review Data Set Download: Data Folder, Data Set Description Abstract: This dataset contains sentences ext..

Topic Modeling 토픽 모델링이란 문서 집합에 숨어 있는 주제를 찾아내는 것이다. 머신러닝 기반의 토픽 모델은 숨겨진 주제를 효과적으로 표현할 수 있는 중심 단어를 함축적으로 추출해낸다. 토픽모델링에서는 LDA(Latent Dirichlet Allocation)을 주로 활용한다. 흔히 머신러닝에서 사용하는 LDA(Linear Discriminant Analysis)와는 다른 알고리즘이므로 주의해야한다. 기본 데이터셋인 20뉴스그룹 데이터 셋을 이용하여 토픽모델링을 진행해보려고 한다. 20뉴스그룹 데이터셋에는 20가지의 주제를 가진 뉴스그룹의 데이터가 있는데, 그 중 8개의 주제를 추출하고, 이들 텍스트에 LDA 기반의 토픽 모델링을 적용해보려고 한다. 필요한 라이브러리 로딩 후 카테고리 추출 f..

지난 포스팅에서 WordNet과 SentiWordNet에 대해 공부하였으니 IMDB 영화 감상평 감성 분석을 SentiWordNet 기반으로 수행해 보려고 한다. https://suhye.tistory.com/entry/%E3%85%87-1?category=1040378 [Python] 감성분석 - 비지도 학습 이전 포스팅(지도학습)에 이어서 비지도 학습의 감성 분석까지 공부해 보려고 한다! https://suhye.tistory.com/entry/mn?category=1040378 [Python] 감성 분석(Sentiment Analysis) - 지도학습 감성분석 이란? 감.. suhye.tistory.com 감성 분석 순서는 다음과 같다. 1. 문서를 문장 단위로 분해 2. 문장을 단어 단위로 토큰화..

이전 포스팅(지도학습)에 이어서 비지도 학습의 감성 분석까지 공부해 보려고 한다! https://suhye.tistory.com/entry/mn?category=1040378 [Python] 감성 분석(Sentiment Analysis) - 지도학습 감성분석 이란? 감성분석이란 문서의 주관적인 감성/의견/감정/기분 등을 파악하기 위한 방법으로, 소셜미디어나 여론조사, 온라인 리뷰 등 다양한 분야에서 활용되고 있다. 문서의 글자가 나타 suhye.tistory.com 비지도학습 기반 감성 분석은 사전(Lexicon)을 기반으로 학습한다. 대부분의 감성 분석 데이터셋은 레이블을 갖고 있지 않기 때문에 Lexicon이 유용하게 사용된다. Lexicon은 긍정 감성 또는 부정 감성의 정도를 의미하는 수치를 가지..