Data Science LAB

0.Abstract 역대 ILSVRC 대회 결과를 보면 depth가 모델의 성능에 큰 영향을 준다는 것을 알 수 있음 depth 증가 시 발생하는 문제 점 : overfitting, gradient 소실, 연산량 증가 residual learning framework를 통해 문제 해결 → 오차를 3.75%까지 줄임 residual learning framework : 이전 layer의 결과를 다시 이용함 1. Introduction 모델의 layer수가 증가할 수록 학습할 수 있는 Feature가 달라짐 → 깊이는 중요한 요소 “Layer를 깊게 쌓을 수록 항상 좋은 성능을 보이는가?” 두 가지 문제점 존재 Convergence Problem vanishing/exploding gradients 로부터 ..

딥러닝의 기초 논문이라고 할 수 있는 ImageNet Classification with Deep Convolutional Neural Networks (AlexNet) 를 리뷰해 보려고 한다. Link : https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf 0. Abstract ImageNet LSVRC-2010 대회에서 120만 개의 고해상도 이미지를 1000개의 다른 클래스로 분류하기 위해 대규모의 심층 컨볼루션 신경망을 훈련시킴 top1, top5 오류율은 각각 37.5%, 17.0%의 오류율을 달성함 (이전보다 상당히 발전) 매우 효율적인 GPU 사용 오버 피팅을 방지하기 위해 새로운 방..