[Deep Learning] 출력층 설계 (softmax, 항등 함수)

- 신경망의 구조 

 

출력층은 신경망의 출력(output)의 구조를 설계하는 것이다. 

 

 

기계학습에서는 크게 회귀와 분류 문제를 다룬다. 신경망은 이 둘 모두에 이용 가능하다.

- 분류 : 데이터가 어느 클래스에 속하느냐의 문제 => 소프트 맥스 함수
- 회귀 : 입력 데이터에서 연속적인 수치를 예측 => 항등 함수

 

 

1. 항등 함수 (identity function)

 : 입력을 그대로 출력 (입력과 출력이 항상 같음), 회귀에서 사용

 

 

 

 

2. 소프트 맥스 함수 (Softmax)

 : 정규화된 자연상수 함수로 분류에 사용 (데이터를 특정 범위로 변환)

 

• n은 출력층의 뉴런 수, yk는 그 중 k번째 출력을 의미함
• 분자는 입력신호 ak의 지수 함수, 분모는 지수 함수의 합으로 구성
• 출력층의 각 뉴런이 모든 입력 신호에서 영향을 받음

 

 

 

- 파이썬 구현

def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a-c)     # 오버플로 대책
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

 

 

 

- 소프트맥스 함수 구현 시 주의점

 : softmax() 함수는 지수함수를 사용하는데, 지수함수는 쉽게 아주 큰 값을 내뱉음 

➡️ overflow 문제

오버플로(overflow)란?
 컴퓨터는 수를 4바이트나 8바이트와 같이 크기가 유한한 데이터로 다룹니다. 다시 말해 표현할 수 있는 수의 범위가 한정되어 너무 큰 값은 표현할 수 없다는 문제가 발생합니다. 이것을 오버플로라 하며, 컴퓨터로 수치를 계산할 때 주의할 점입니다.

 

 

오버 플로 문제를 해결하기 위해 소프트 맥스 함수를 변형한 것이다. 이 식이 말하는 것은 소프트맥스의 지수함수를 계산할 때 어떤 정수를 더하더라도 결과가 바뀌지 않는 것이다. 

 

 

 

- 소프트맥스 함수의 특징

• 출력은 0~1사이
• 출력의 총합은 1 -> 이성질 덕분에 출력을 '확률' 로 해석 가능함
• 소프트맥스 함수를 적용해도 각 원소의 대소 관계는 변하지 않음
• 현업에서 출력층의 소프트맥스 함수는 생략하는 일반적임 (지수함수 계산에 드는 낭비를 줄이기 위함)