[Python] 다항 회귀분석 (Polynomial Regression)

데이터가 단순한 직선 형태가 아닌 비선형의 형태를 갖고 있을 때, 각 변수의 거듭 제곱을 새로운 변수로 추가하면 선형 모델을 사용할 수 있다. 이렇게 확장된 특성을 데이터 세트에 선형 모델로 훈련 시키는 기법을 다항회귀라고한다.

 

1. 다항 변수 생성

PolynomialFeatures(degree=d)를 활용해 변수 특성을 거듭제곱으로 변환

class sklearn.preprocessing.PolynomialFeatures(degree=2, interaction_only=False, include_bias = True, order='C')

- 매개변수

• degree : 다항식의 차수 결정 (default=2)
• interaction_only : 교차항을 추가할지 여부 결정 (False인 경우 교차항과 동일한 변수의 2제곱 이상인 항도 추가됨)
• include_bias : bias 컬럼 추가할지 여부

 

 

2. 선형 결합

PolynomialFeatures로 생성한 변수들을 LinearRegression()의 입력값으로 대입하면 다항 회귀분석 수행 가능

 

import pandas as pd
import numpy as np

m = 100
X = 6 * np.random.rand(m,1) - 3
y = 3 * X **3 + X**2 + 2*X + 2 + np.random.randn(m,1) # 노이즈 포함
line = np.linspace(-3,3,100,endpoint=False).reshape(-1,1)

X : 0~1사이의 균일분포 난수를 (100,1)로 생성

y : X 변수를 이용한 3차 다항식 생성

line : -3부터 3까지 100개의 숫자 채운 후 1열 형식으로 reshape (-1은 행의 개수가 가변적임을 의미)

 

 

from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures

# X**3까지 3차항을 적용시켜야함
poly = PolynomialFeatures(degree=3, include_bias=False)
poly.fit(X)
X_poly = poly.transform(X)
line_poly = poly.transform(line)
reg = LinearRegression().fit(X_poly, y)

plt.plot(line, reg.predict(line_poly), c='r', linewidth=3)
plt.plot(X,y,'o',c='g',alpha=0.5)

degree는 3으로 설정 후 Polynomial함수에 fit()