์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- ์ฃผ์ฑ๋ถ๋ถ์
- DBSCAN
- iloc
- datascience
- t-test
- ๋ฐ์ดํฐ๋ถ์
- ๋น ๋ฐ์ดํฐ๋ถ์๊ธฐ์ฌ
- pandas
- ๋ฐ์ดํฐ๋ถ์์ ๋ฌธ๊ฐ
- ๊ตฐ์งํ
- opencv
- ADsP
- Lambda
- LDA
- ํ์ด์ฌ
- ์ค๋ฒ์ํ๋ง
- ๋ฐ์ดํฐ๋ถ์์ค์ ๋ฌธ๊ฐ
- ํฌ๋กค๋ง
- ๋์ํ๋ณธ
- Python
- ํ ์คํธ๋ถ์
- PCA
- numpy
- ์๋ํด๋ผ์ฐ๋
- dataframe
- ๋ฐ์ดํฐ๋ถ๊ท ํ
- ์ธ๋์ํ๋ง
- ๋ ๋ฆฝํ๋ณธ
- ADP
- ๋น ๋ฐ์ดํฐ
๋ชฉ๋ก๐ง Deep Learning (8)
Data Science LAB
1. CNN ์ด๋? : ๋ฅ๋ฌ๋์ ๊ฐ์ฅ ๋ํ์ ์ธ ๋ฐฉ๋ฒ์ผ๋ก ์ฃผ๋ก ์ด๋ฏธ์ง ์ธ์์ ๋ง์ด ์ฌ์ฉ๋จ, ๊ธฐ๋ณธ์ ์ธ ์์ด๋์ด๋ ์ด๋ฏธ์ง๋ฅผ ์์ ํน์ง์์ ๋ณต์กํ ํน์ง์ผ๋ก ์ถ์ํํ๋ ๊ฒ ์ธ๊ฐ์ ์์ ๊ฒฝ ๊ตฌ์กฐ๋ฅผ ๋ชจ๋ฐฉํ ๊ธฐ์ ํน์ง๋งต์ ์์ฑํ๋ ํํฐ๊น์ง๋ ํ์ต์ด ๊ฐ๋ฅํด ๋น์ (vision) ๋ถ์ผ์์ ์ฑ๋ฅ์ด ์ฐ์ํจ ์ด๋ฏธ์ง๋ฅผ ์ธ์ํ๊ธฐ ์ํด ํจํด์ ์ฐพ๋๋ฐ ํนํ ์ ์ฉ ๋ฐ์ดํฐ๋ฅผ ์ง์ ํ์ตํ๊ณ ํจํด์ ์ฌ์ฉํด ์ด๋ฏธ์ง ๋ถ๋ฅ ์ด๋ฏธ์ง์ ๊ณต๊ฐ ์ ๋ณด๋ฅผ ์ ์งํ ์ฑ ํ์ต์ ํ๊ฒ ํ๋ ๋ชจ๋ธ (2D ๊ทธ๋๋ก ์์ ) ์ฌ๋์ด ์ฌ๋ฌ ๋ฐ์ดํฐ๋ฅผ ๋ณด๊ณ ๊ธฐ์ตํ ํ์ ๋ฌด์์ธ ์ง ๋ง์ถ๋ ๊ฒ๊ณผ ์ ์ฌํจ 2. CNN ๊ตฌ์กฐ Fully Connected Layer ๋ง์ผ๋ก ๊ตฌ์ฑ๋ ์ธ๊ณต์ ๊ฒฝ๋ง์ ์ ๋ ฅ๋ฐ์ดํฐ๋ 1์ฐจ์ ๋ฐฐ์ด ํํ๋ก ํ์ ๋๋ค. ํ ์ฅ์ด ์ปฌ๋ฌ ์ฌ์ง์ 3์ฐจ์ ๋ฐ์ดํฐ์ด๋ค. ๋ฐฐ์น ๋ชจ๋์ ์ฌ..
๊ธฐ์กด์ Gradient Vanishing, Exploding ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด์๋ ์๋ก์ด ํ์ฑํ ํจ์๋ฅผ ์ฐพ๊ฑฐ๋ ๊ฐ์ค์น๋ฅผ ์ด๊ธฐํํ๋ ๋ฐฉ๋ฒ์ ์ฌ์ฉ -> ํ๋ จํ๋ ๋์ ๋ค์ ๋ฐ์ํ์ง ์์ผ๋ฆฌ๋ ๋ณด์ฅ โ ์ด์ 2015๋ ์ธ๋ฅด๊ฒ์ด ์ด์คํ์ ์น๋ฆฌ์ํฐ์ธ ์ธ๊ฒ์ง๊ฐ ๋ฐฐ์น์ ๊ทํ ๊ธฐ๋ฒ ์ ์ - Batch Normalization - Batch : ์ ๊ฒฝ๋ง ํ์ต ์ ๋ณดํต ์ ์ฒด ๋ฐ์ดํฐ๋ฅผ ์์ ๋จ์๋ก ๋ถํ ํ์ฌ ํ์ต์ ์งํํ๋๋ฐ, ์ด ๋ ์ฌ์ฉ๋๋ ๋จ์ - Batch Normalization : ๋ฐฐ์น ๋จ์๋ก ์ ๊ทํํจ ๊ฐ ์ธต์์ ํ์ฑํ ํจ์๋ฅผ ํต๊ณผํ๊ธฐ ์ ์ด๋ ํ์ ๋ชจ๋ธ์ ์ฐ์ฐ์ ํ๋ ์ถ๊ฐ ์ด ์ฐ์ฐ์ ๋จ์ํ๊ฒ ์ ๋ ฅ์ ์์ ์ ๋ง์ถ๊ณ ์ ๊ทํํ ๋ค์, ๊ฐ ์ธต์์ ๋ ๊ฐ์ ์๋ก์ด ํ๋ผ๋ฏธํฐ๋ก ๊ฒฐ๊ด๊ฐ์ ์ค์ผ์ผ์ ์กฐ์ ํ๊ณ ์ด๋์ํด ์ ๊ฒฝ๋ง์ ์ฒซ ๋ฒ์งธ..
1. ๋ฅ๋ฌ๋์์ ์์ฃผ ์ฐ์ด๋ ์ฝ๋ super().__init__() super(ClassName, self).__init__() super().__init__(**kwargs) super(ClassName, self).__init__(**kwargs) 2. ์ฌ์ฉ ์์ class Parent(): def __init__(self): print("Parent init") self.parentHi = "๋ถ๋ชจ ํด๋์ค" class Child(Parent): def __init__(self): super().__init__() print("Child init") self.childHi = "์์ ํด๋์ค" child = Child() print(child.childHi) print(child.parentHi) # P..
Sequential ๋ชจ๋ธ์ ์์ฑํ์ฌ ์์ฐจ์ ์ผ๋ก ์ํ๋ ๋ ์ด์ด๋ฅผ ์์์ ์์ฑํ ์ ์์ ์์๋๋ก ์ฐ๊ฒฐ๋ ์ธต์ ์ผ๋ ฌ๋ก ์์์ ๊ตฌ์ฑ - ํ์ด์ฌ ๊ตฌํ (MNIST๋ฐ์ดํฐ์ ์ ์ฉ) model = keras.models.Sequential() model.add(keras.layers.Flatten(input_shape = [28,28])) # ์ ๋ ฅ์ด๋ฏธ์ง๋ฅผ 1D ๋ฐฐ์ด๋ก ๋ณํ model.add(keras.layers.Dense(300, activation='relu')) # ๋ด๋ฐ 300๊ฐ๋ฅผ ๊ฐ์ง Dense ์๋์ธต ์ถ๊ฐ model.add(keras.layers.Dense(100, activation='relu')) model.add(keras.layers.Dense(10, activation='softmax')) # ๋ด๋ฐ..
- ์ ๊ฒฝ๋ง์ ๊ตฌ์กฐ ์ถ๋ ฅ์ธต์ ์ ๊ฒฝ๋ง์ ์ถ๋ ฅ(output)์ ๊ตฌ์กฐ๋ฅผ ์ค๊ณํ๋ ๊ฒ์ด๋ค. ๊ธฐ๊ณํ์ต์์๋ ํฌ๊ฒ ํ๊ท์ ๋ถ๋ฅ ๋ฌธ์ ๋ฅผ ๋ค๋ฃฌ๋ค. ์ ๊ฒฝ๋ง์ ์ด ๋ ๋ชจ๋์ ์ด์ฉ ๊ฐ๋ฅํ๋ค. - ๋ถ๋ฅ : ๋ฐ์ดํฐ๊ฐ ์ด๋ ํด๋์ค์ ์ํ๋๋์ ๋ฌธ์ => ์ํํธ ๋งฅ์ค ํจ์ - ํ๊ท : ์ ๋ ฅ ๋ฐ์ดํฐ์์ ์ฐ์์ ์ธ ์์น๋ฅผ ์์ธก => ํญ๋ฑ ํจ์ 1. ํญ๋ฑ ํจ์ (identity function) : ์ ๋ ฅ์ ๊ทธ๋๋ก ์ถ๋ ฅ (์ ๋ ฅ๊ณผ ์ถ๋ ฅ์ด ํญ์ ๊ฐ์), ํ๊ท์์ ์ฌ์ฉ 2. ์ํํธ ๋งฅ์ค ํจ์ (Softmax) : ์ ๊ทํ๋ ์์ฐ์์ ํจ์๋ก ๋ถ๋ฅ์ ์ฌ์ฉ (๋ฐ์ดํฐ๋ฅผ ํน์ ๋ฒ์๋ก ๋ณํ) n์ ์ถ๋ ฅ์ธต์ ๋ด๋ฐ ์, yk๋ ๊ทธ ์ค k๋ฒ์งธ ์ถ๋ ฅ์ ์๋ฏธํจ ๋ถ์๋ ์ ๋ ฅ์ ํธ ak์ ์ง์ ํจ์, ๋ถ๋ชจ๋ ์ง์ ํจ์์ ํฉ์ผ๋ก ๊ตฌ์ฑ ์ถ๋ ฅ์ธต์ ๊ฐ ๋ด๋ฐ์ด ๋ชจ๋ ์ ๋ ฅ ์ ํธ์์ ..
1. ํ์ฑํ ํจ์(Activation Function) ์๋ฏธ ๋ฅ๋ฌ๋ ๋คํธ์ํฌ์์ ๋ ธ๋์ ์ ๋ ฅ๋ ๊ฐ๋ค์ ๋น์ ํ ํจ์์ ํต๊ณผ์ํจ ํ ๋ค์ ๋ ์ด์ด๋ก ์ ๋ฌํ๋๋ฐ, ์ด ๋ ์ฌ์ฉํ๋ ํจ์๋ฅผ ์๋ฏธํ๋ค. ์ ํ ํจ์๊ฐ ์๋ ๋น์ ํ ํจ์๋ฅผ ์ฌ์ฉํ๋ ์ด์ ๋ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ๋ ์ด์ด ์ธต์ ๊น๊ฒ ๊ฐ์ ธ๊ฐ ์ ์๊ธฐ ๋๋ฌธ์ด๋ค. ํ์ฑํ ํจ์๋ ์ ๋ ฅ ์ ํธ์ ํธํฅ์ ์ดํฉ์ ๊ณ์ฐํ์ฌ ๋ค์ ๋ ์ด์ด๋ก ์ด๋ป๊ฒ ์ถ๋ ฅํ ์ง๋ฅผ ๊ฒฐ์ ํ๋ค. ์ด๋ ์ค์ ํ ์๊ณ๊ฐ์ ๊ฒฝ๊ณ๋ก ์ถ๋ ฅ๊ฐ์ด ๋ฐ๋๊ฒ ๋๋ค. 2. ํ์ฑํ ํจ์์ ์ข ๋ฅ 1 ) Sigmoid - Logistic ํจ์๋ผ๊ณ ๋ถ๋ฆฌ๊ธฐ๋ ํ๋ฉฐ x์ ๊ฐ์ ๋ฐ๋ผ 0~1 ์ฌ์ด์ ๊ฐ์ ์ถ๋ ฅํ๋ ํจ์์ด๋ค. - ํ์ด์ฌ ๊ตฌํ def sigmoid(x): return 1 / (1 + np.exp(-x)) - sigmoid ํน์ง - ์..