250x250
Link
๋‚˜์˜ GitHub Contribution ๊ทธ๋ž˜ํ”„
Loading data ...
Notice
Recent Posts
Recent Comments
๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋ก๐Ÿง  Deep Learning (8)

Data Science LAB

[Deep Learning] ํ•ฉ์„ฑ๊ณฑ ์‹ ๊ฒฝ๋ง CNN (Convolution Neural Network) ์ •๋ฆฌ

1. CNN ์ด๋ž€? : ๋”ฅ๋Ÿฌ๋‹์˜ ๊ฐ€์žฅ ๋Œ€ํ‘œ์ ์ธ ๋ฐฉ๋ฒ•์œผ๋กœ ์ฃผ๋กœ ์ด๋ฏธ์ง€ ์ธ์‹์— ๋งŽ์ด ์‚ฌ์šฉ๋จ, ๊ธฐ๋ณธ์ ์ธ ์•„์ด๋””์–ด๋Š” ์ด๋ฏธ์ง€๋ฅผ ์ž‘์€ ํŠน์ง•์—์„œ ๋ณต์žกํ•œ ํŠน์ง•์œผ๋กœ ์ถ”์ƒํ™”ํ•˜๋Š” ๊ฒƒ ์ธ๊ฐ„์˜ ์‹œ์‹ ๊ฒฝ ๊ตฌ์กฐ๋ฅผ ๋ชจ๋ฐฉํ•œ ๊ธฐ์ˆ  ํŠน์ง•๋งต์„ ์ƒ์„ฑํ•˜๋Š” ํ•„ํ„ฐ๊นŒ์ง€๋„ ํ•™์Šต์ด ๊ฐ€๋Šฅํ•ด ๋น„์ „ (vision) ๋ถ„์•ผ์—์„œ ์„ฑ๋Šฅ์ด ์šฐ์ˆ˜ํ•จ ์ด๋ฏธ์ง€๋ฅผ ์ธ์‹ํ•˜๊ธฐ ์œ„ํ•ด ํŒจํ„ด์„ ์ฐพ๋Š”๋ฐ ํŠนํžˆ ์œ ์šฉ ๋ฐ์ดํ„ฐ๋ฅผ ์ง์ ‘ ํ•™์Šตํ•˜๊ณ  ํŒจํ„ด์„ ์‚ฌ์šฉํ•ด ์ด๋ฏธ์ง€ ๋ถ„๋ฅ˜ ์ด๋ฏธ์ง€์˜ ๊ณต๊ฐ„ ์ •๋ณด๋ฅผ ์œ ์ง€ํ•œ ์ฑ„ ํ•™์Šต์„ ํ•˜๊ฒŒ ํ•˜๋Š” ๋ชจ๋ธ (2D ๊ทธ๋Œ€๋กœ ์ž‘์—…) ์‚ฌ๋žŒ์ด ์—ฌ๋Ÿฌ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณด๊ณ  ๊ธฐ์–ตํ•œ ํ›„์— ๋ฌด์—‡์ธ ์ง€ ๋งž์ถ”๋Š” ๊ฒƒ๊ณผ ์œ ์‚ฌํ•จ 2. CNN ๊ตฌ์กฐ Fully Connected Layer ๋งŒ์œผ๋กœ ๊ตฌ์„ฑ๋œ ์ธ๊ณต์‹ ๊ฒฝ๋ง์˜ ์ž…๋ ฅ๋ฐ์ดํ„ฐ๋Š” 1์ฐจ์› ๋ฐฐ์—ด ํ˜•ํƒœ๋กœ ํ•œ์ •๋œ๋‹ค. ํ•œ ์žฅ์ด ์ปฌ๋Ÿฌ ์‚ฌ์ง„์€ 3์ฐจ์› ๋ฐ์ดํ„ฐ์ด๋‹ค. ๋ฐฐ์น˜ ๋ชจ๋“œ์— ์‚ฌ..

๐Ÿง  Deep Learning 2022. 12. 10. 03:22
[Deep Learning] ๋ฐฐ์น˜ ์ •๊ทœํ™” (Batch Normalization, BN)

๊ธฐ์กด์˜ Gradient Vanishing, Exploding ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ์ƒˆ๋กœ์šด ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋ฅผ ์ฐพ๊ฑฐ๋‚˜ ๊ฐ€์ค‘์น˜๋ฅผ ์ดˆ๊ธฐํ™”ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์‚ฌ์šฉ -> ํ›ˆ๋ จํ•˜๋Š” ๋™์•ˆ ๋‹ค์‹œ ๋ฐœ์ƒํ•˜์ง€ ์•Š์œผ๋ฆฌ๋ž€ ๋ณด์žฅ โŒ ์ด์— 2015๋…„ ์„ธ๋ฅด๊ฒŒ์ด ์ด์˜คํŽ˜์™€ ์น˜๋ฆฌ์Šˆํ‹ฐ์–ธ ์„ธ๊ฒŒ์ง€๊ฐ€ ๋ฐฐ์น˜์ •๊ทœํ™” ๊ธฐ๋ฒ• ์ œ์•ˆ - Batch Normalization - Batch : ์‹ ๊ฒฝ๋ง ํ•™์Šต ์‹œ ๋ณดํ†ต ์ „์ฒด ๋ฐ์ดํ„ฐ๋ฅผ ์ž‘์€ ๋‹จ์œ„๋กœ ๋ถ„ํ• ํ•˜์—ฌ ํ•™์Šต์„ ์ง„ํ–‰ํ•˜๋Š”๋ฐ, ์ด ๋•Œ ์‚ฌ์šฉ๋˜๋Š” ๋‹จ์œ„ - Batch Normalization : ๋ฐฐ์น˜ ๋‹จ์œ„๋กœ ์ •๊ทœํ™”ํ•จ ๊ฐ ์ธต์—์„œ ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋ฅผ ํ†ต๊ณผํ•˜๊ธฐ ์ „์ด๋‚˜ ํ›„์— ๋ชจ๋ธ์— ์—ฐ์‚ฐ์„ ํ•˜๋‚˜ ์ถ”๊ฐ€ ์ด ์—ฐ์‚ฐ์€ ๋‹จ์ˆœํ•˜๊ฒŒ ์ž…๋ ฅ์„ ์›์ ์— ๋งž์ถ”๊ณ  ์ •๊ทœํ™”ํ•œ ๋‹ค์Œ, ๊ฐ ์ธต์—์„œ ๋‘ ๊ฐœ์˜ ์ƒˆ๋กœ์šด ํŒŒ๋ผ๋ฏธํ„ฐ๋กœ ๊ฒฐ๊ด๊ฐ’์˜ ์Šค์ผ€์ผ์„ ์กฐ์ •ํ•˜๊ณ  ์ด๋™์‹œํ‚ด ์‹ ๊ฒฝ๋ง์˜ ์ฒซ ๋ฒˆ์งธ..

๐Ÿง  Deep Learning 2022. 12. 9. 23:03
[Deep Learning] ์ถœ๋ ฅ์ธต ์„ค๊ณ„ (softmax, ํ•ญ๋“ฑ ํ•จ์ˆ˜)

- ์‹ ๊ฒฝ๋ง์˜ ๊ตฌ์กฐ ์ถœ๋ ฅ์ธต์€ ์‹ ๊ฒฝ๋ง์˜ ์ถœ๋ ฅ(output)์˜ ๊ตฌ์กฐ๋ฅผ ์„ค๊ณ„ํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ๊ธฐ๊ณ„ํ•™์Šต์—์„œ๋Š” ํฌ๊ฒŒ ํšŒ๊ท€์™€ ๋ถ„๋ฅ˜ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃฌ๋‹ค. ์‹ ๊ฒฝ๋ง์€ ์ด ๋‘˜ ๋ชจ๋‘์— ์ด์šฉ ๊ฐ€๋Šฅํ•˜๋‹ค. - ๋ถ„๋ฅ˜ : ๋ฐ์ดํ„ฐ๊ฐ€ ์–ด๋Š ํด๋ž˜์Šค์— ์†ํ•˜๋Š๋ƒ์˜ ๋ฌธ์ œ => ์†Œํ”„ํŠธ ๋งฅ์Šค ํ•จ์ˆ˜ - ํšŒ๊ท€ : ์ž…๋ ฅ ๋ฐ์ดํ„ฐ์—์„œ ์—ฐ์†์ ์ธ ์ˆ˜์น˜๋ฅผ ์˜ˆ์ธก => ํ•ญ๋“ฑ ํ•จ์ˆ˜ 1. ํ•ญ๋“ฑ ํ•จ์ˆ˜ (identity function) : ์ž…๋ ฅ์„ ๊ทธ๋Œ€๋กœ ์ถœ๋ ฅ (์ž…๋ ฅ๊ณผ ์ถœ๋ ฅ์ด ํ•ญ์ƒ ๊ฐ™์Œ), ํšŒ๊ท€์—์„œ ์‚ฌ์šฉ 2. ์†Œํ”„ํŠธ ๋งฅ์Šค ํ•จ์ˆ˜ (Softmax) : ์ •๊ทœํ™”๋œ ์ž์—ฐ์ƒ์ˆ˜ ํ•จ์ˆ˜๋กœ ๋ถ„๋ฅ˜์— ์‚ฌ์šฉ (๋ฐ์ดํ„ฐ๋ฅผ ํŠน์ • ๋ฒ”์œ„๋กœ ๋ณ€ํ™˜) n์€ ์ถœ๋ ฅ์ธต์˜ ๋‰ด๋Ÿฐ ์ˆ˜, yk๋Š” ๊ทธ ์ค‘ k๋ฒˆ์งธ ์ถœ๋ ฅ์„ ์˜๋ฏธํ•จ ๋ถ„์ž๋Š” ์ž…๋ ฅ์‹ ํ˜ธ ak์˜ ์ง€์ˆ˜ ํ•จ์ˆ˜, ๋ถ„๋ชจ๋Š” ์ง€์ˆ˜ ํ•จ์ˆ˜์˜ ํ•ฉ์œผ๋กœ ๊ตฌ์„ฑ ์ถœ๋ ฅ์ธต์˜ ๊ฐ ๋‰ด๋Ÿฐ์ด ๋ชจ๋“  ์ž…๋ ฅ ์‹ ํ˜ธ์—์„œ ..

๐Ÿง  Deep Learning 2022. 11. 23. 12:39
[Deep Learning] ํ™œ์„ฑํ™” ํ•จ์ˆ˜ ์ข…๋ฅ˜ ๋ฐ ๋น„๊ต ์ •๋ฆฌ

1. ํ™œ์„ฑํ™” ํ•จ์ˆ˜(Activation Function) ์˜๋ฏธ ๋”ฅ๋Ÿฌ๋‹ ๋„คํŠธ์›Œํฌ์—์„œ ๋…ธ๋“œ์— ์ž…๋ ฅ๋œ ๊ฐ’๋“ค์„ ๋น„์„ ํ˜• ํ•จ์ˆ˜์— ํ†ต๊ณผ์‹œํ‚จ ํ›„ ๋‹ค์Œ ๋ ˆ์ด์–ด๋กœ ์ „๋‹ฌํ•˜๋Š”๋ฐ, ์ด ๋•Œ ์‚ฌ์šฉํ•˜๋Š” ํ•จ์ˆ˜๋ฅผ ์˜๋ฏธํ•œ๋‹ค. ์„ ํ˜• ํ•จ์ˆ˜๊ฐ€ ์•„๋‹Œ ๋น„์„ ํ˜• ํ•จ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ์ด์œ ๋Š” ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์˜ ๋ ˆ์ด์–ด ์ธต์„ ๊นŠ๊ฒŒ ๊ฐ€์ ธ๊ฐˆ ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋Š” ์ž…๋ ฅ ์‹ ํ˜ธ์™€ ํŽธํ–ฅ์˜ ์ดํ•ฉ์„ ๊ณ„์‚ฐํ•˜์—ฌ ๋‹ค์Œ ๋ ˆ์ด์–ด๋กœ ์–ด๋–ป๊ฒŒ ์ถœ๋ ฅํ•  ์ง€๋ฅผ ๊ฒฐ์ •ํ•œ๋‹ค. ์ด๋•Œ ์„ค์ •ํ•œ ์ž„๊ณ„๊ฐ’์„ ๊ฒฝ๊ณ„๋กœ ์ถœ๋ ฅ๊ฐ’์ด ๋ฐ”๋€Œ๊ฒŒ ๋œ๋‹ค. 2. ํ™œ์„ฑํ™” ํ•จ์ˆ˜์˜ ์ข…๋ฅ˜ 1 ) Sigmoid - Logistic ํ•จ์ˆ˜๋ผ๊ณ  ๋ถˆ๋ฆฌ๊ธฐ๋„ ํ•˜๋ฉฐ x์˜ ๊ฐ’์— ๋”ฐ๋ผ 0~1 ์‚ฌ์ด์˜ ๊ฐ’์„ ์ถœ๋ ฅํ•˜๋Š” ํ•จ์ˆ˜์ด๋‹ค. - ํŒŒ์ด์ฌ ๊ตฌํ˜„ def sigmoid(x): return 1 / (1 + np.exp(-x)) - sigmoid ํŠน์ง• - ์Œ..

๐Ÿง  Deep Learning 2022. 11. 21. 17:40