[Python] 감성분석 - 비지도 학습

이전 포스팅(지도학습)에 이어서 비지도 학습의 감성 분석까지 공부해 보려고 한다!

https://suhye.tistory.com/entry/mn?category=1040378 

[Python] 감성 분석(Sentiment Analysis) - 지도학습

 

 

비지도학습 기반 감성 분석은 사전(Lexicon)을 기반으로 학습한다. 

대부분의 감성 분석 데이터셋은 레이블을 갖고 있지 않기 때문에 Lexicon이 유용하게 사용된다. 

 

 

Lexicon은 긍정 감성 또는 부정 감성의 정도를 의미하는 수치를 가지고 있으며 이를 "감성 지수" 라고 한다. 

주로 단어의 위치, 단어, 문맥 등을 참고하여 감성 지수를 결정한다. 

 

 

NLP 패키지의 WordNet은 영어 어휘 사전이라고 생각하면 쉽다. 단순히 언어의 뜻을 설명하는 것이 아니라 Sementic을 제공해주는 어휘 사전이다. 

단어는 문장에서 문맥의 흐름에 따라 다르게 해석되기 때문에 흐름에 맞춰서 해석하는 것이 중요하다. 

 

따라서 WordNet에서는 다양한 상황에서 같은 단어라도 다르게 사용되는 단어의 시맨틱 정보를 제공하며, 이를 위해 단어의 품사로 구성된 개별 단어를 Synset이라는 개념을 이용하여 표현한다. 

 

Synset은 Set of cognitive synonyms의 줄임말으로 단순히 하나의 단어가 아닌 그 단어가 가지는 문맥, 시맨틱 정보를 제공하는 WordNet의 핵심 개념이다. 

 

 

 

 

대표적인 감성 사전

1. SentiWordNet : NLTK의 WordNet과 유사하게 단어 전용의 WordNet을 구현한 것이다. WordNet의 Synset별로 감성 점수를 할당하는데, 긍정, 부정, 객관성 지수를 할당한다. 객관적인 감성 점수를 기반으로 문장 별 단어의 지수드를 합산하여 최종 감성 지수를 계산한 후, 이에 기반하여 감성이 긍정인지 부정인지를 결정한다. 

 

 

2. VADER : 주로 소셜 미디어의 텍스트에 대한 감성 분석을 제공하기 위한 패키지로, 비교적 빠르게 뛰어난 감성 분석 결과를 제공한다. 

 

 

3. Pattern : 성능 측면에서 가장 주목 받는 패키지이지만 파이썬 버전3에서는 호환이 되지 않는다(ㅠ)

 

 

 

 

SentiWordNet을 이용한 감성 분석

1. 필요한 라이브러리 로딩

import nltk
nltk.download('all')

nltk의 모든 라이브러리를 다운받아 준다!

(좀 오래걸림)

 

 

 

2. 'present' 단어에 대한 Synset 추출

from nltk.corpus import wordnet as wn

term = 'present'

#present 단어로 wordnet의 synsets 생성
synsets = wn.synsets(term)
print("synsets() type : ",type(synsets))
print("synsets() 반환 값 개수 : ",len(synsets))
print("synsets() 반환 값 : ",synsets)

파라미터로 지정된 단어에 대해 WordNet에 등재되어있는 모든 Synset 객체를 반환한다. 

 

present의 synset을 반환한 결과, 서로 다른 semantic을 가지는 synset 객체가 반환되었다. 

'present.n.01'에서 present는 의미, n은 명사 품사, 01은 present가 명사로서 가지는 의미가 여러가지 있기 때문에 이를 구분하는 인덱스를 의미한다. 

 

 

 

Synset객체가 가지는 여러 속성

for synset in synsets:
    print("-----Synset name : ",synset.name(),'-----')
    print("POS : ",synset.lexname())
    print("Definition : ",synset.definition())
    print("Lemmas : ",synset.lemma_names())

 

 

present는 같은 명사지만 여러가지 뜻을 가지고 있다. 

'present.n.01'은 시간적인 의미로 현재를 의미한다. 

'present.n.02'는 선물을 의미한다. 

이처럼 synset은 하나의 단어가 가지는 여러 시맨틱 정보를 개별 클래스로 나타내어 준다. 

 

 

 

 

언어간의 관계 유사도

#synset 객체를 단어별로 생성
tree = wn.synset('tree.n.01')
lion = wn.synset('lion.n.01')
tiger = wn.synset('tiger.n.02')
cat = wn.synset('cat.n.01')
dog = wn.synset('dog.n.01')

entities = [tree,lion,tiger,cat,dog]
similarities = []
entity_names = [entity.name().split('.')[0] for entity in entities]



#단어별 synset반복하면서 다른 단어의 synset과의 유사도 측정
for entity in entities:
    similarity = [round(entity.path_similarity(compared_entity),2) for compared_entity in entities]
    similarities.append(similarity)
    
    
    
#개별 단어별 synset과 다른 단어 synset과의 유사도를 DataFrame형태로 저장
similarity_df = pd.DataFrame(similarities,columns=entity_names,index = entity_names)
similarity_df

WordNet에서는 어휘 간의 관계를 유사도로 나타낼 수 있다. 

Synset객체는 단어 간의 유사도를 나타내기 위해서 path_similarity()를 메서드로 제공한다. 

 

 

'tree', 'lion', 'tiger', 'cat', 'dog'의 상호 유사도 결과 각 객체별 유사도 정도가 수치로 표현되었다. 

 

 

 

 

Senti_Synset

WordNet의 Synset과 유사한 SentiWordNet의 Senti_Synset 클래스는 클래스를 리스트 형태로 반환해준다.

import nltk
from nltk.corpus import sentiwordnet as swn

senti_synsets = list(swn.senti_synsets('slow'))
print('senti_synsets() 반환 type :',type(senti_synsets))
print('senti_synsets() 반환 값 개수 :',len(senti_synsets))
print('senti_synsets() 반환 값 :',senti_synsets)

 

 

 

 

 

단어의 감성 지수와 객관성 지수

father = swn.senti_synset('father.n.01')
print('father 긍정감성 지수 : ',father.pos_score())
print('father 부정감성 지수 : ',father.neg_score())
print('father 객관성 지수 : ',father.obj_score())
print("\n---------------------")

fabulous = swn.senti_synset('fabulous.a.01')
print('fabulous 긍정 감성 지수 : ',fabulous.pos_score())
print('fabulous 부정 감성 지수 : ',fabulous.neg_score())
print('fabulous 객관성 지수 : ',fabulous.obj_score())

father 단어의 객관성 지수는 1, 감성 지수는 0으로 나타났으며,

'fabulous' 단어의 긍정 지수는 0.875, 부정지수는 0.125, 객관성 지수는 0으로 확인되었다.