Group Study (2020-2021)/Deep Learning

[DeepSleep] ๋”ฅ๋Ÿฌ๋‹ ์Šคํ„ฐ๋”” 2์ฃผ์ฐจ

hrxorxm 2021. 5. 24. 10:14

๐Ÿ’ก Summary

  • 2์ฃผ์ฐจ ์Šคํ„ฐ๋”” : CNN ๊ฐœ๋… + ๋ชจ๋ธ ๊ตฌํ˜„ (tensorflow / pytorch)

๐Ÿ’ก ์Šคํ„ฐ๋”” ์ž๋ฃŒ

๐Ÿ’ก 2์ฃผ์ฐจ ์Šคํ„ฐ๋”” ๋‚ด์šฉ

1๏ธโƒฃ CNN ์ด๋ž€?

CNN(Convolutional neural network) : ํ•ฉ์„ฑ๊ณฑ ์‹ ๊ฒฝ๋ง(Convolutional neural network, CNN)์€ ์‹œ๊ฐ์  ์˜์ƒ์„ ๋ถ„์„ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋˜๋Š” ๋‹ค์ธต์˜ ํ”ผ๋“œ-ํฌ์›Œ๋“œ์ ์ธ ์ธ๊ณต์‹ ๊ฒฝ๋ง์˜ ํ•œ ์ข…๋ฅ˜์ด๋‹ค. ๋”ฅ ๋Ÿฌ๋‹์—์„œ ์‹ฌ์ธต ์‹ ๊ฒฝ๋ง์œผ๋กœ ๋ถ„๋ฅ˜๋˜๋ฉฐ, ์‹œ๊ฐ์  ์˜์ƒ ๋ถ„์„์— ์ฃผ๋กœ ์ ์šฉ๋œ๋‹ค. - ์œ„ํ‚ค๋ฐฑ๊ณผ

  • ๊ธฐ๋ณธ ์šฉ์–ด
    • Convolution : ์ด๋ฏธ์ง€ ์œ„์—์„œ stride ๊ฐ’ ๋งŒํผ filter(kernel)์„ ์ด๋™์‹œํ‚ค๋ฉด์„œ ๊ฒน์ณ์ง€๋Š” ๋ถ€๋ถ„์˜ ๊ฐ ์›์†Œ์˜ ๊ฐ’์„ ๊ณฑํ•ด์„œ ๋ชจ๋‘ ๋”ํ•œ ๊ฐ’์„ ์ถœ๋ ฅ์œผ๋กœ ํ•˜๋Š” ์—ฐ์‚ฐ
    • Stride : filter ๋ฅผ ํ•œ๋ฒˆ์— ์–ผ๋งˆ๋‚˜ ์ด๋™ํ•  ๊ฒƒ์ธ๊ฐ€
    • Padding : ์ด๋ฏธ์ง€ ๊ฒฝ๊ณ„ ๋ถ€๋ถ„์— ํ”ฝ์…€๋“ค์„ ๋ง๋ถ™์ด๋Š” ๊ฒƒ

์ถœ์ฒ˜ : https://d2l.ai/chapter_convolutional-neural-networks/conv-layer.html

  • ์ฃผ์š” ๊ตฌ์„ฑ ์š”์†Œ
    • Fully-Connected Layer : ์ฃผ์–ด์ง„ ์ž…๋ ฅ์˜ ์ „์ฒด ๋ถ€๋ถ„๊ณผ ๋‚ด์  ์—ฐ์‚ฐ
    • Convolution Layer : ์ฃผ์–ด์ง„ ์ž…๋ ฅ์˜ ์ž‘์€ ๋ถ€๋ถ„๊ณผ ๋‚ด์  ์—ฐ์‚ฐ (์ด๋ฏธ์ง€์˜ ๊ณต๊ฐ„์ ์ธ ์˜์กด์„ฑ์„ ๋ฐ˜์˜ํ•  ์ˆ˜ ์žˆ์Œ)
    • Pooling Layer : ์ฃผ์–ด์ง„ ์ž…๋ ฅ์„ downsampling ํ•˜๋Š” ๊ฒƒ

cnn ๊ตฌ์กฐ ์˜ˆ์‹œ

2๏ธโƒฃ CNN ๋ชจ๋ธ ๊ตฌํ˜„

๐Ÿ“Œํ”„๋กœ์ ํŠธ ๋ชฉํ‘œ

  • CNN ์„ค๊ณ„๋ฅผ ํ†ตํ•œ ์ด๋ฏธ์ง€ ๋ถ„๋ฅ˜๊ธฐ ์™„์„ฑ
  • ๋ฐ์ดํ„ฐ ์ฆ์‹(data augmentation) ์ ์šฉ
  • ํ•™์Šต๋œ ๋ชจ๋ธ ์ €์žฅ ๋ฐ ๋กœ๋“œ
  • ์ „์ดํ•™์Šต(transfer learning) ๊ตฌํ˜„

ํ”„๋กœ์ ํŠธ ๋ชฉํ‘œ

๐Ÿ“Œ ์†Œ์Šค์ฝ”๋“œ

๐Ÿ“Œ ๋ฌธ์ œ์ 

  • ์ €๋ฒˆ์ฃผ์™€ ๋น„์Šทํ•˜๊ฒŒ tensorflow ๋กœ ์ž‘์„ฑํ•œ ์ฝ”๋“œ์—์„œ๋Š” ์š”๊ตฌํ•œ ์„ฑ๋Šฅ์„ ๋งŒ๋“ค์—ˆ์Œ์—๋„ ์„ฑ๋Šฅ ์ฒดํฌ๊ฐ€ ํ†ต๊ณผ๋˜์ง€ ์•Š์•˜๋‹ค. ๊ฐ•์˜ ๊ฒŒ์‹œํŒ์— ๊ฐ™์€ ๋ฌธ์ œ๊ฐ€ ์žˆ๋Š” ์‚ฌ๋žŒ๋“ค์ด ์žˆ์–ด์„œ ํ•ด๊ฒฐ ๋ฐฉ๋ฒ•์„ ์ฐพ๋Š” ์ค‘์ด๋‹ค.

๐Ÿ’ก ๋‹ค์Œ ์ฃผ์— ํ•  ์ผ

  • RNN ๊ฐœ๋… ๊ณต๋ถ€ ๋ฐ ๋ชจ๋ธ ๊ตฌํ˜„