텍스트 분석(Text Analytics)

NLP VS 텍스트 분석

- NLP(National Language Processing) : 머신이 인간의 언어를 이해하고 해석하는 데 더 중점을 두고 기술 발전(번역, 질의응답 시스템 등)

- 텍스트 분석 : 비정형 텍스트에서 의미 있는 정보를 추출하는 것에 좀 더 중점, 머신러닝, 언어 이행, 통계등을 활용해 모델 수립 및 정보 추출

 

 

 

 

---

 

 

텍스트 분석 종류

1. 텍스트 분류(Text Classification) : 문서가 어떤 종류나 카테고리에 속하는지 예측하는 기법

  (특정 기사나 뉴스가 어떤 카테고리에 속하는 지, 스팸메일 검출등)

 

 

 

2. 감성 분석(Sentiment Analysis) : 텍스트에서 나타나는 감정/판단/믿음/의견 등의 주관적인 요소를 분석하는 기법

   (제품이나 영화에 대한 리뷰, 여론 조사 등) 

 

 

 

3. 텍스트 요약(Summarization) : 텍스트에서 중요한 주제나 중심 사상 추출

 

 

 

 

4. 텍스트 군집화(Clustering)와 유사도 측정 : 비슷한 유형의 문서에 대해 군집화 수행, 문서들간의 유사도를 측정해 비슷한 문서끼리 모으기

 

 

 

 

 

---

 

텍스트 분석 수행 프로세스

1. 텍스트 전처리 : 텍스트를 피처로 만들기 전에 미리 클렌징, 대/소문자 변경, 특수문자 삭제, 단어의 토큰화, 의미없는 단어 제거, 어근 추출 등

 

 

 

2.. 피처 벡터화/추출 : 텍스트를 word기반의 다수의 피처로 추출하고, 이 피처에 단어 빈도수 같은 숫자값을 부여하면 텍스트는 단어의 조합인 벡터값으로 표현됨, 사전 준비작업으로 가공된 텍스트에서 피처를 추출하고 여기에 벡터 값 할당(BOW,Word2Vec 등)

 

 

 

 

3. 머신러닝 모델 수립 및 학습/예측/평가 : 피처 벡터화된 데이터 셋에 머신러닝 기반의 모델을 적용해 학습, 예측, 평가를 수행한다. 

 

 

 

 

 

---

 

 

파이썬 기반의 텍스트 분석 패키지

 

- NLTK : 가장 대표적인 NLP패키지로, NLP의 대부분을 수행할 수 있지만 속도가 느리고, 대용량의 데이터셋에서는 잘 작동하지 않음

 

 

 

 

 

- Gensim : 토픽 모델링에 가장 좋은 패키지로, Word2Vec도 구현 가능하다. 

 

 

- SpaCy : 최근 가장 주목받는 패키지

 

 

 

 

 

 

개인적으로 프로젝트를 진행하거나 공부할 때 텍스트 분석이 가장 어려웠는데 처음부터 제대로 공부해 보려고 한다! 오류의 늪에서 허우적 거리지만 그만큼 모델 생성 성공하면 희열감이,,,ㅎ

화이팅✍(◔◡◔)