[Deep Learning] 배치 정규화 (Batch Normalization, BN)

기존의 Gradient Vanishing, Exploding 문제를 해결하기 위해서는 새로운 활성화 함수를 찾거나 가중치를 초기화하는 방법을 사용
-> 훈련하는 동안 다시 발생하지 않으리란 보장 ❌
이에 2015년 세르게이 이오페와 치리슈티언 세게지가 배치정규화 기법 제안

 

- Batch Normalization

- Batch : 신경망 학습 시 보통 전체 데이터를 작은 단위로 분할하여 학습을 진행하는데, 이 때 사용되는 단위

- Batch Normalization : 배치 단위로 정규화함

• 각 층에서 활성화 함수를 통과하기 전이나 후에 모델에 연산을 하나 추가
• 이 연산은 단순하게 입력을 원점에 맞추고 정규화한 다음, 각 층에서 두 개의 새로운 파라미터로 결괏값의 스케일을 조정하고 이동시킴
• 신경망의 첫 번째 층으로 배치 정규화를 추가하면 훈련 세트를 표준화할 필요 없음
• 훈련하는 동안 배치 정규화는 입력을 정규화한 다음 스케일을 조정하고 이동 시킴

 

즉 입력 데이터를 원점에 맞추고 정규화하기 위해서는 평균과 표준편차를 추정해야 함

 

 

 

 

 

 

 

배치 정규화의 장점

1. 학습 속도를 빠르게 할 수 있음
2. 가중치 초기화에 대한 민감도를 감소 시킴 (hyper parameter의 설정이 좀 더 자유로워 짐)
3. 모델의 일반화(regularization) 효과

 

 

 

 

 

케라스로 구현한 배치 정규화 예시

model = tf.keras.Sequential([
    keras.layers.Flatten(input_shape=[28,28]),
    keras.layers.BatchNormalization(),
    keras.layers.Dense(300, kernel_initializer='he_normal', use_bias=False),
    keras.layers.BatchNormalization(),
    keras.layers.Activation('relu'),
    keras.layers.Dense(100, kernel_initializer='he_normal', use_bias=False),
    keras.layers.BatchNormalization(),
    keras.layers.Activation('relu'),
    keras.layers.Dense(10,activation='softmax')
])