부스트코스 [딥러닝 기초 다지기] 1. 딥러닝 기초

딥러닝 기초 다지기

 

1.1 딥러닝 기본 용어 설명

구현실력 수학실력(선형대수, 확률론) 최근논문

 

인공지능의 정의 (사람의 지능을 모방하는 것)

-> 안에 머신러닝 (무언가 학습하고자 할 때 데이터를 통해서 하는 것)

-> 안에 딥러닝 (뉴럴 네트워크를 사용하는 것)

딥러닝을 연구하는 것이 인공지능 전체를 의미하지 않음

 

data 학습할 때 필요

model 이미지를 라벨로 바꿔주는 모델이 필요

loss 모델을 만들면 로스 함수가 필요

algorithm 손실함수를 최소화하는 알고리즘이 필요

=> 논문을 볼 때 이 4가지를 주의깊게 보면 됨

 

데이터는 풀고자하는 문제에 의존하게 됨

강아지인지 고양이인지 분류 Classification

각 이미지에 픽셀별로 분류를 하는 Semantic Segmentation

물체에 대한 바운딩 박스를 찾고싶은 Detection

사람의 3차원 스켈레톤 정보 Pose Estimation

이미지와 문장이 주어졌을 때 Visual QnA

 

*Model AlexNet GoogLeNet 등은 모델 모델에 성질에 따라서

*Loss 모델을 어떻게 학습시킬지 보통 loss함수는 이루고자하는 것의 근사치 loss함수가 줄어든다고 해서

 

1.2 Historical Review

2012 - AlexNet(convolution) 딥러닝을 이용해서 처음 1위 실제 성능 발휘

2013 - DQN 알파고를 만든 회사에서 사용한 것 구글에서 이 것을 삼

2014 - Encoder / Decoder (NMT) 단어의 연속이 주어져있을 때 중국어(인코더) 어떤 벡터로 인코딩하고 영어(디코더)로 뱉어주는 것

2014 - Adam Optimizer 아담을 쓰는 이유는 결과가 잘 나오기 때문, 웬만하면 잘 된다(GPU 1~2개밖에 못 쓰니까) 2015 - Gnenrative Adversarial Network 강사의 글에 술집에 대한 감사가 있음

2015 - Residual Networks 네트워크를 깊게 쌓기 때문에, 네트워크를 깊게 쌓으면 학습이 안 됨(성능이 안 좋아), 이 것이 나온 이후에 20까지 괜찬핬는데 100까지 괜찮게 만듦

2017 - Transformer (Attention Is All You Need)

2018 - BERT (fine-turned NLP models)

2019 - BIG Leanguage Models(GPT-X) 굉장히 많은 파라미터 2020- Self Superised Learning SimCLR 이미지 분류를 풀고 싶은데 한정된 학습데이터이기 때문에 외에 라벨을 모르지만 이미지를 학습에 같이 사용, 비지도학습으로 분류문제를 풀겠다.

 

 

2. 뉴럴 네트워크 - MLP

2강 Neural Networks

사람의 뇌를 모방했기 때문에 라는 주장을 백퍼센트 이야기할 수 없음

역전파는 인간에 일어나느냐? -> 아니다

우리가 하늘을 날고싶다고 해서 새처럼 날필요는 없어

인간의 뇌를 모방할 필요가 없음

Neural Networks도 인간의 뇌를 모방해서 잘된다 하기에는 너무 많이 갈라졌다

 

Linear Neural Networks

라인에 대한 기울기 절편이 있을 때 두개의 파라미터를 찾는 것

Data: Model: y햇 = wx + b w와 b를 찾는 것

Loss: 이루고자하는 현상이 주어졌을 때 줄이는

어떻게 w와 b를 찾을까?

최적값을 찾을 수 있어 (제약조건이 많음)

loss function을 줄어드는게 목적이니까

각각 파라미터를 미분해서 업데이트하면

loss function 최소화되는 지점이 있어

 

w와 b의 편미분을 구하고 loss에서 이걸 빼서 업데이트하면 경사하강법 step size 적절하게 찾는게 가장 중요

 

딥러닝은 결국 깊게 쌓겠다는 의미

선형결합을 반복하기보단 Activation functions를 넣어야지만 깊게 쌓았을 때 의미가 있어

히든레이어가 하나있는 표현력은 우리가 일반적으로 생각하는 ?를 다 포함한다. -> 세상 어딘가에 있다고 내가 만든게 맞나는건 아니다 얘를 어떻게 찾는지는 모른다

 

Multi-Layer Perceptron

loss functions가 뭔가?

Regression Task -> 나의 아웃풋이 하나만 1이고 나머지는 9

Classification Task -> 분류를 할 때 d개의 출력에서 다른 9개의 값보다 1개가 더 크면 됨 (다른 값들 대비 높기만 하면 됨) Probabilistic Task -> 20살이긴한데 모르겠어, 30살같아 => 1980년대에 다 알려진 내용임