[Python]Tabular Data 웹에서 크롤링

Tabular Data 란? 

- 엑셀 파일 형식이나 관계형 데이터베이스의 테이블에 담을 수 있는 데이터

- 즉, 행과 열로 표현이 가능한 데이터

 

즉, 데이터 분석에서 자주 사용하는 표 형식의 데이터이다. 

 

 

Tabular Data 웹에서 scrapping

오늘 불러올 데이터는 펜실베니아 데이터이다. 

https://en.wikipedia.org/wiki/Politics_of_Pennsylvania

 

 

1. 필요한 라이브러리 불러오기

import pandas as pd
import numpy as np

 

2. 데이터 로딩

table_PA = pd.read_html('http://en.wikipedia.org/wiki/Politics_of_Pennsylvania')
len(table_PA)

불러온 데이터셋을 확인해 보면 웹페이지의 모든 부분이 크롤링 된 것을 확인할 수 있다. 

따라서 불러오고자 하는 tabular data만을 지정해서 다시 불러와야 한다. 

 

 

3. 필요한 데이터 다시 로딩

table_PA = pd.read_html('https://en.wikipedia.org/wiki/Politics_of_Pennsylvania',match='Presidential election results')
len(table_PA)

데이터셋을 불러오는 코드에 match를 추가하면 원하는 데이터셋만을 불러올 수 있다. 

실행 결과 테이블 수가 1개로 잘 불러와진 것을 확인할 수 있다. 

 

 

4. 데이터 정보 확인

df = table_PA[0]
df.head()

데이터셋의 위의 5개 데이터만 확인해 보니 %로 구성된 컬럼이 있는 것을 확인

 

 

5. 데이터 변환

df['Democratic'] = df['Democratic'].str[:4]
df['Republican'] = df['Republican'].str[:4]
df.head()

df.info()

'Democratic','Rebublican'컬럼이 object형식인 것을 확인

 

df[['Democratic','Republican']] = df[['Democratic','Republican']].apply(pd.to_numeric)
df.info()

 

 

이 코드를 기반으로 웹에서 다양한 데이터를 크롤링 해오는 연습을 더 해야할 것 같다 ㅎㅎ