Data Science LAB

감성분석 이란? 감성분석이란 문서의 주관적인 감성/의견/감정/기분 등을 파악하기 위한 방법으로, 소셜미디어나 여론조사, 온라인 리뷰 등 다양한 분야에서 활용되고 있다. 문서의 글자가 나타내는 여러 주관적인 단어와 문맥을 기반으로 감성 수치를 계산하는 방법을 이용한다. 감성 수치를 긍정/부정 지수로 구분지어 각 지수를 합산하여 긍정 또는 부정 감성을 결정한다. 감성분석은 크게 지도학습과 비지도 학습 방법으로 나뉜다. - 지도학습 : 학습데이터와 타깃 레이블 값을 기반으로 감성 분석 학습을 수행한 뒤 이를 기반으로 다른 데이터의 감성을 예측하는 방법 - 비지도 학습 : 'Lexicon'이라는 감성 어휘 사전을 이용해 감성 분석을 위한 용어와 문맥에 대한 정보를 파악해 문서의 긍정/부정을 판단 오늘은 지도학습..

사이킷런 내부의 예제 데이터인 20 뉴스그룹 데이터 셋을 활용해 텍스트 분류 실습을 해보려고 한다. 텍스트 분류는 학습 데이터를 통해 모델을 학습 시킨 후 이 학습 모델을 이용해 다른 문서의 분류를 예측해 보려고 한다. Count기반의 로지스틱 회귀모델과, TF-IDF기반의 로지스틱 회귀모델을 각각 생성한 후 비교해보고 하이퍼파라미터 조정까지 해보려고 한다( •̀ ω •́ )✧ 1. 텍스트 정규화 fetch_20newsgroups()는 인터넷에서 로컬 컴퓨터로 먼저 데이터를 받은 후, 메모리로 데이터를 로딩한다. from sklearn.datasets import fetch_20newsgroups news_data = fetch_20newsgroups(subset = 'all', random_state ..

Bag of Words 모델은 문서가 가진 모든 단어(Words)를 문맥이나 순서에 상관없이 단어의 빈도 값에 따라 피처 값을 추출하는 모델이다. 문서 내의 모든 단어를 한번에 봉투(Bag)안에 넣은 뒤 흔들어 섞는 다는 의미로 Bag of Words 모델이라고 한다. BOW모델은 쉽고 빠르게 모델을 구축할 수 있고, 단순하게 단어의 빈도 수에 기반하지만, 문서의 특징을 잘 나타낼 수 있어 활용도가 높다. 한계점 - 문맥 의미 반영 부족 : BOW는 단어의 순서를 고려하지 않기 때문에, 단어의 문맥적인 의미가 무시된다. 이를 보완하기 위해 n_gram등 여러 기법을 활용할 수 있지만, 제한적이다. - 희소 행렬 문제 : BOW로 피처 벡터화를 수행하면, 희소 행렬 형태의 데이터 셋이 만들어지기 쉽다. 많..

텍스트 자체를 바로 피처로 만들 수 없기 때문에, 텍스트를 가공해주는 작업이 필요하다. 텍스트 정규화는 텍스트를 머신러닝 알고리즘이나 NLP 어플리케이션의 입력 데이터로 사용하기 위해 클렌징, 정제, 토큰화, 어근 등의 다양한 텍스트 데이터의 사전 작업을 수행하는 것을 의미한다. 클렌징(Cleansing) 클렌징은 텍스트에서 분석에 방해되는 문자나 기호 등을 먼저 제거하는 작업이다. (XTML, XML태그 등) 텍스트 토큰화(Tokenization) - 문장 토큰화 : 문서에서 문장을 분류 - 단어 토큰화 : 문장에서 단어를 토큰으로 분리 위의 두가지 종류로 나뉜다. 문장 토큰화 먼저, 문장 토큰화는 문장의 마침표(.)나 개행문자(\n) 등 문장의 마지막을 뜻하는 기호에 따라 분리한다. NLTK에서는 일..

NLP VS 텍스트 분석 - NLP(National Language Processing) : 머신이 인간의 언어를 이해하고 해석하는 데 더 중점을 두고 기술 발전(번역, 질의응답 시스템 등) - 텍스트 분석 : 비정형 텍스트에서 의미 있는 정보를 추출하는 것에 좀 더 중점, 머신러닝, 언어 이행, 통계등을 활용해 모델 수립 및 정보 추출 텍스트 분석 종류 1. 텍스트 분류(Text Classification) : 문서가 어떤 종류나 카테고리에 속하는지 예측하는 기법 (특정 기사나 뉴스가 어떤 카테고리에 속하는 지, 스팸메일 검출등) 2. 감성 분석(Sentiment Analysis) : 텍스트에서 나타나는 감정/판단/믿음/의견 등의 주관적인 요소를 분석하는 기법 (제품이나 영화에 대한 리뷰, 여론 조사 ..