모두를 위한 딥러닝 Section 7부터 요약을 한다. 

학습 Rate, Overfitting, Regularization

Gradient Descent(GD) 알고리즘앞에 * 는 알파값은 Learning Rate 이다. 

  - GD는 Cost function의 최소값을 구해가는 알고리즘

  - Overshooting: Learning rate을 너무 크게 잡는 경우

  - local minimum: rate이 너무 작을 경우 오래 걸리고, local이 최소라 판단할 수도 있다. 

대략 0.01 로  시작

Feature Data 선처리 

  - X 데이터이다. 

  - GD를 위하여 선처리 과정이 필요하다

  - 데이터가 둘쭉날쭉할 때 데이터를 0과 1사이 값으로 Standardization하는 것을 Normalization 한다라고 표현함. 두가지 경우로 preprocessing한다.

    + 특정 범위안에 들어있도록 만들거나

    + zero-centered data로 만들거나

  - 평균과, 분산을 통해 Standardization한다. MinMaxScaler를 사용하면 0과 1사이의 값으로 치환된다.

Overfitting

머신러닝이 학습을 통하는데 너무 학습에 딱 맞는 데이터이면 엉뚱한 데이터를 줄 때 예측이 틀릴 수 있다. 

  - 데이터에 맞추어진 Model이 Overfitting되었다 표현함.

  - 많은 데이터로 훈련, 중복 feature수를 줄임. 

  - Regularization통해 구불구불한 데이터를 펴준다. 

  - Regularization strength 함수를 준다 - 람다. l2reg (L2 regular) . 필요한 값은 취하고 필요없는 것은 버리는 것이다. 

Training / Testing 데이터 셋

전체 데이터중에 training set과 test set을 나누고, 훈련시에는 training set만을 사용한다. 

  - training = training + validation

  - testing = testing

Online Learning

  - 한번 학습후 추가되는 데이터를 이전 생성된 모델에 추가하여 다시 학습시켜서 모델을 발전시키는 학습형태

Accuracy

  - 정확도: Model이 prediction한 값과 Y (레이블) 실제값에 대한 맞춘 퍼센트

MNIST 데이터

  - 28*28*1 image = 784 

  - 한번에 몇개씩 학습 = 1 Batch

  - 전체 training data set 학습 = 1 Epoch (에포크)

Deep Learning 기본 개념

Input X와 신호의량 W(weight) 과 편향값 b (bias)를 더하여 어떤값을 넘으면 1, 아니면 0으로 된다. 이때 Activation Function이 이용된다.

  - 1958 OR, AND는 기계가 풀수 있었지만 XOR 문제를 못 풀게되었다. 

  - 1969 MIT AI Lab, Marvin Minsky 교수 - Perceptrons, MultiLayer로 풀 수 있다. 

     input layer -> hidden layers -> output layer

  - 1974, 1982 Backpropagation, Paul Werbos, 1986 by Hinton

     더 복잡한 형태의 계산이 가능해짐

  - 1995 Backprogagation은 몇개 layer는 잘 동작하나 몇십개가 되면 Backpropagation의 값이 희석되어 성능이 더 떨어지는 현상이 발생함. 

    1987 캐나다 Hinton 교수 주도의 CIFAR 기구에서 연구를 계속 진행함. 

  - 2006 Breakthrough 통해 초기값을 잘 주면 학습가능하다. Hinton

     Neural Network 을 Deep Net, Deep Learning으로 이름을 바꿔 부름

  - 2010 ImageNet Classification 통해 인식율 대회 -> 2015년 Deep Learning이용 3% 에러까지 올라옴

     Speech Recognition - 시끄러운 곳에서 음성인식, Game

  - 2016 Convolution Neural Networks LeCun(라쿤)

배열 다루기

0부터 시작, 마지막 -1

  - Rank: 차원, [] 하나가 1차원. 예) [[]] 2차원

  - Shape: 자신 차원안의 데이터 원소갯수 예) [[[1,2],[2,3],[4,5]]] 3차원 (1차원 원소갯수, 2차원 원소갯수, 3차원 원소갯수) => (1, 1, 2)

  - Slice: 원소 n개 묶음. 슬라이싱한다고 표현

  - Axis: Rank 4차원이면 맨 바깥쪽이 Axis=0, 제일 안쪽이 Axis=3이 된다.

tensorflow 계산식 (참조)

  - matrix1 * matrix2 또는 matrix1 + matrix2 같은 사칙연산 => Broadcasting Shape이 달라도 연산이 가능하게 함. 

  - matmul(matrix1, matrix2) 사용

  - reduce_mean, reduce_sum: 결과가 float이면 입력값도 float이어야 소수점까지 출력된다. axis 설정이 있어서 차원의 계산값이 다를 수 있다. 

  - Argmax: axis에 따라 결과의 원소 갯수가 틀려진다. 

  - Reshape: 가장 많이 사용함. shape(3,2,3)을 변경. 가장 안쪽의 값은 항상 그대로 가져간다. 

     tf.reshap(t, shape=[-1, 3]).eval()

    +  squeeze 는 안쪽의 값을 1차원 배열로 reshape한다. 

    + expand_dims 는 값을 차원이 있는 배열로 reshape한다. squeeze의 반대

  - one_hot: 전체 값중에 선택된 것만 1로 만들고 나머지는 0으로 만듦. 1차원 배열(백터)에 해당함.

  - cast: 형변환 float -> integer, 또는 true/false를 1/0으로 변환.

  - stack: 여러 개별 배열을 한 배열로 넣음. axis 설정가능 

  - ones_like, zeros_like: 똑같은 배열 차원의 1 또는 0으로 만들어줌

  - zip: 복수개의 tensor를 가지고 있을 때 한번에 묵어서 for 루프등에서 처리하고 싶을 때

XOR 문제 Neural Network (Deep Learning)으로 풀기

Cell별 W, b를 구하는 학습이 가능 한가를 증명

  - sigmoid를 이용함

  - 3개의 cell로 XOR문제 풀기

하나의 네트워크를 구성하면 다음과 같다. 

이것을 하나의 배열로 만들면 Multinomial Classification이된다. 

Backpropagation과 Derivation 하기

미분이란

  - 순간 변화율, 기울기로 나타남

  - f(x + A) - f(x) / A 로 A를 작은 값으로 사용. 

  - f(g(x)) 에서 x가 f에 미치는 영향에 대해 미분을 하면 df/dx로 나온다. 이것은 df/dg * dg/dx 의 결과이다.

편미분

  - Partial Derivation

  - 내것만 미분하고 나머지는 상수로 본다.

  - xy 에 대한 x 편미분은 y 이고 x+y에 대한 x편미분은 1이다. 이는 더하기는 각각을 편미분하기 때문이다.

각각의 Weight에 대한 미분값을 구하기 어렵다. 1974, 1982 Paul/Hinton에 의해 backpropagation으로 해결됨.

  - 편미분: 식마다 편미분, g, f

  - Chain rule의 경우 미분 f(g(x)) : x값이 f에 영향을 미치는 정도. 

  - 편미분값이 다음에 영향을 미칠 값이 된다. 

  - f는 g를 사용하는 chain rule 사용

    편미분에 대한 복합함수를 chain rule을 사용하면 뒤로가면서 w의 편미분값을 얻을 수 있다. (참조)

  - 뒤의 것의 미분값과 자신의 미분값을 사용한다. 

  - Tensorflow에서 graph형태인 것은 BP를 적용하기 위함이다. 

TensorBoard

  - loss의 변화를 차트로 보거나, 텐서의 그래프를 볼 때 사용

  - name_scope를 사용해서 작은 단위의 텐서를 논리적으로 묶어서 그래프로 보여줄 수 있다. 

  - 지정한 디렉토리에 있는 모든 텐서 로그파일을 한번에 불러와서 차트에 보여줄 수 있다.

섹션 10 - ReLU

네트워크 연결되어 최종 값은 sigmoid같은 Activation function을 통해 변환되어 다음 네트워크로 전달된다. 

  - Hypothesis는 여러 Layer를 두어서 만들어 진다. 

  - Layer종류: Input, Hidden, Output

  - layer별로 W(weight) 과 B (bias)가 주어진다. 

  - hidden layer가 많을 경우 Accuracy가 떨어진다. => Backpropagation의 문제점이 발생. 

    + Vanishing Gradient : 기울기기 사라짐. 아주 작은값들이(weight값, 0.01같은 값) layer가 뒤로(backward propagation) 갈수록 곱해지면서 문제가 발생함 . 

  - Hinton교수가 밝힘. Sigmoid를 잘 못 쓴것 같다. =>  Rectified Linear Unit (ReLU)를 사용한다. 이제 sigmoid는 사용하지 말자!  즉, 1 또는 0으로 나와야 하기 때문에 마지막만 sigmoid사용

  - ReLU(렐루) 0이하는 모두 0으로 처리한다. 

초기값 설정 잘 하기

초기값 W를 잘 정해야 한다. 

  - 초기값을 0으로 준다면: BP하면 앞의 W값들이 0이되어 VG (Vanishing Gradient)됨. 

  - 2006 Hinton이 Restricted Boatman Machine (RBM) 사용함 - Deep Belief Nets

    + 처음 2개 layer에 대한 encoder/decoder를 통해 weight를 구함. 

    + 그다음 2개를 en/de하면서 weight을 학습시킴

     각 학습을 통해서 initial weight값을 가지고 학습시킴. 이것을 fine tunning이라함. 

  - 2010 Xavier initialization => RBM 처럼 비슷하게 쉽게 나온다. 

  - 2015 He initialization 초기화 잘됨

Dropout 과 앙상블

훈련시킬 때 적용할 수 있는 방법

Overfitting은 학습데이터를 가지고 accuracy를 측정해보면 99% 맞는데, 전혀 다른 test data를 넣으면 0.8%이면 오버피팅이다. 

  - layer를 많을 쌓을 수록 overfitting될 확률이 높다. 

  - 방지하는 방법

    + 데이터를 많이

    + Regularization: 구부러진 데이터를 펴기 =>  l2reg

    + NN에서는 Dropout도 사용함. 몇개의 layer를 skip한다. 학습할때 dropout = 0.7 정도 실전에서는 dropout rate = 1이다.

       텐서플로우에서는 dropout layer를 하나 더 추가함. keep_prob = 0.7 학습, 1 실전 (참조)

앙상블 (Ensemble)

  - 모델들 학습시킬 때, 데이터 셋을 몇개로 만들어 각각 Model을 만들어 Model들을 합쳐 결과를 만든다. 실전에 많이쓴다. 

  - Model = Hypothesis + Cost + Optimizer

Optimizer

다양한 옵티마이져가 존재한다.

  - ADAM(아담) 을 기본으로 써보자. 

네트워크 조립하기

어떤 Net을 구성하느냐의 상상력이 필요

  - 여러 layer를 구성하고, 몇단의 layer를 건더뛰게하는 Fast Forward 방식이 있다. ResNet구조이다. 

  - Split & Merge하여 layer 조립하기  - CNN

  - Recurrent Network: 앞으로만 나가는 것이 아니라 옆으로도 layer가 증가 - RNN

MNIST 98 % 올리기

=> CNN을 사용하면 99% 까지 올라간다. 

정리

- NN(Neural Net)이 깊어지면 Backpropagation할 수록 Vanishing Gradient가 발생하여 Sigmoid를 사용하지 않고 ReLU를 쓴다. 

- NN 구성 방법

  + 초기값 설정을 잘 하자. Xavier 사용. Tensorflow에 함수 존재함

  + NN의 layer가 깊어지면 모델이 Overfitting될 수 있다. 이것은 학습을 하면서 이전것을 기억하기 때문인데 이를 Dropout으로 해결한다. 

  + 많은 데이터를 여러 set으로 나누어 학습한 모델들을 최종 결과물로 만드는 앙상블을 실전에서 많이 사용한다. 

  + 옵티마이저도 기본 ADAM(아담)을 사용한다. 

  + NN의 구성은 CNN, RNN방식이 있고 본인만의 상상력을 발휘하여 만들 수 있다. 

성김교수의 모두를 위한 딥러닝을 요약한다. 

  - ML 개념 이해

  - Linear Regression과 Multi-Variables Linear Regression 개념

  - Logistic Regression (Classification)에서 Binary Classification과 Multinomial Classification 개념

기본적인 ML 용어와 개념 설명

프로그램이 학습을 통해 배우는 프로그래밍

  - Supervised Learning: 결과가 있는(Labeled) 데이터를 통해 학습. 예) 이미지 학습, 이메일 스팸 필터링, 시험성적 예측

  - Unsupervised Learning: un-labeled 데이터를 통해 학습. 예) Word Clustering

지도학습

  - 값, label, y

  - input data, x, training dataset

지도학습 종류

  - regression(회귀): 0~100 연속값으로 결과(label)를 통해 새로운 input을 주었을 때 값을 예측

  - classification(분류): true or false, pass or not pass

  - multi-label classification: A, B, C or D, F

Tensorflow

  - pip install --upgrade tensorflow

  - 또는 아나콘다를 설치하여 가상환경으로 python버전까지 설정해서 사용한다. 

  - 가장 쉬운 방법은 구글의 코랩에서 수행한다.

    결과의 b = bytes literals 의미

  - tensor 수행은 session.run(tensor) 해주어야 한다.

     step-1) Tensor들의 flow graph 만들고

     step-2) data를 입력해서 graph를 수행한다.

     step-3) session.run(tensor)을 통해 graph안의 변수를 업데이트 하거나, 결과값을 반환한다. 

Tensorflow data feed

  - tf.placeholder(tf.float32) 처럼 자료형을 갖는 placeholder를 만듦

  - session.run(tensor, feed_dict=<data>) 처럼 데이터를 placeholder에 넣어준다. 

Tensorflow

  - Ranks: 차원, n-Tensor

  - Shapes: 엘러먼트에 몇개씩 들어 있느냐?

  - Types: 데이터타입, float32를 많이 사용함

Linear Regression

용어: Hypothesis, Cost Function, Gradient Descent

선형회귀, 연속된 데이터를 통해 다음것을 예측하고자 할 때 사용한다. Hypothesis 가설을 통해 Linear한 1차원 선의 기울기를 찾는다.

H(x) = Wx + b

Cost Function

  - 가설 Linear선과 실 데이터 사이의 거리를 측정함

  - 가설값 - 실데이터의 차이로 계산함

  - +, -  일수 있으므로 제곱을 한다.

코스트 펑션의 W, b의 펑션이다. 가장 작은 cost를 (minimize cost) 구할 수 있는 W, b의 값을 구하는 것이 목표이다. 

Tensorflow로 Linear Regression 구현해 보기

  - 깃헙 소스

  - tf.Variable: 텐서플로우가 변경하는 값으로 trainable variable로 본다. 

  - Minimize cost를 구하는 알고리즘으로 GradientDescent를 사용한다.

placeholder를 사용할 경우 

Cost Function

Cost(W) 에서 W를 x축으로 보고 Cost( W)을 y축으로 볼때. Cost(W)이 최소가 되는 값을 찾는다. 

  - 최소값을 찾아가는 앍리즘 Gradient Descent Algorithm => cost minimization

  - 경사도를 따라서 내려가서 최종 최소값을 구하기

   + 경사도(기울기): 미분

   + 내려가기: step

미분식

  - 알파값 0.1

  - Cost(W)에 대한 미분 === 기울기

W = 1 일때 Cost(W)의 기울기가 0이되어 최소값을 갖는다. 

  - Gradient Descendent는 W := W-기울기 값을 측정한다. 

     descent = W - learning_rate * gradient

Multi Variable Linear Regression

용어: Sigmoid

Hypothesis: 가설 -> Cost function -> Cost 최적화 하기 Gradient descent algorithm

- W, b 두개의 값을 학습

- W, b관계의 함수: 예측값과 실제값의 차이의 제곱의 평균

- GD convex 밥그릇 모양

3개의 변수가 주어질 경우

  - H(x1, x2, x3) = w1x1 + w2x2 + w3x3 +b 

  - 변수가 엄청많을 경우 처리 방법 = Matrix를 이용함

Matrix

  - [2*3] * [3*2] = [2*2]

  - 매트릭스 사용시 앞에 X를 사용 뒤에 W를 사용한다. 

  - 데이터의 row를 instance라고 한다. 

  - [ n개 instance 갯수, x 변수 갯수 ] * [ x 변수를 위한 Weight, 1 ] = [ n개 instance 갯수, 1 ]  = Shape

    보통 n개 instance를 None으로 표현한다. 

  - bias는 결과값의 갯수에 따른다. 여기서는 1개 

  - 많은 데이터를 batch로 가져온다.

Logistic (regression) Classification

Deep Learning 에 이용되는 컴포넌트이다. 

  - Binary Classification: 둘중하나 고르기

  - g(z) = 1/(1+ e-z) -> sigmoid 로 0, 1을 얻을수 있게 하고 이를 logistic function이라 한다. 

     + 값이 커지면 1에 수렴

     + 값이 작아지면 0에 수렴

  - Linear Hypothesis에 대한 지수함수 = 시그모이드 함수

Logistic Regression의 Cost 함수

  - 선형함수는 매끄럽게 그려진다. 

  - 시그모이드 함수로 하면 매끄럽지 않고 울퉁불퉁하다. 

    => 어디서 시작하느냐에 따라서 최소값을 찾고 끝날 수 있음. local minimum이 아니라 global minimum을 찾는게중요 함

    => 따라서 GDA를 사용하기 어렵다. 

    => exponantail과 반대가 log 함수를 이용한 Sigmoid함수를 이용한다.

cost와 H(x)의 로그함수

위의 두경우 함수를 하나의 Cost 함수로 표현한다. 

해당 cost 함수에 대한 최소값을 구한다. 

  - 해당 함수를 GradientDescentOptimizer().minimize(cost)로 호출한다.

  - 최소값을 구한 좌표의 x좌표의 값 W를 찾을 수 있게된다. 

W, b -> Hypothesis -> Cost (H-y) -> GD Minimize -> Training -> Predicted

  - W, b 값을 구할 H(가설) 수립: sigmoid를 사용함

  - W, b를 변경해 가며 가설값 - 결과값의 제곱에 대한 cost 함수를 만듦: y=0일때와 y=1일때의 로그함수값을 사용함

  - cost 함수의 최소값을 구함: Gradient Descent = cost함수의 미분

  - Training을 수행함. training이 되면서 cost값이 작아지고 W, b의 값도 내부적으로 변경이 된다. 

Multinomial Classification

용어: Softmax, Cross Entropy, One hot encoding

Logistic Classification

  - 위에서 H(x) = wx 를 g(z)로 만들어 아무리 큰값이거나 작아도 1 또는 0으로 만들어주는 sigmoid함수를 이용한 Logistic Classification을 다루었음.

  - 1차원위에 (Hyper Plane)에서 데이터를 구분하는 선을 구하는 것이다.

  - g(z) = 1 / (1 + e-2)  에서 g(z) 을 logistic 또는 sigmoid함수라고 한다. 

  - Y : real result value, Y hat: predict value

Multinomial Classification 

> Hypothesis 구하기

  - 예로 3개의 Binary classification을 각각 독립된 classification을 구함.

  - A or not, B or not, C or not  3개를 하나의 식으로 표현. Y햇에 sigmoid를 각각 적용하지 않고 효율적으로 적용하는 방법은 matrix manuplication!

  - logistic classifier를 통해 나온 결과값을 sigmoid를 사용하지 않고, 모두 0~1 사이값으로 만들고, 0~1사이의 결과값을 모두 더하면 1이되게 만든다.

    이렇게 만들어주는 것이 softmax 함수이다. 

  - Softmax를 통해 Y값을 넣으면 각각 0~1 사이값이면서 모두 더하면 1의 값이 되므로 확률로 볼 수 있다. => Hypothesis 함수가 된다.

  - 또한 이것중 하나를 고르는 (제일 큰값을 고르는) One-Hot Encoding를 사용한다. (arg max)

> Cost function 구하기

  - Cross Entropy를 사용한다. Y햇 값이 1이면 classification이 맞고, 엄청크면 맞지 않은 것이다. 

  - Y햇 값과 Y햇 로그한것을 곱한 후 합하여 cost값을 구한다. (즉, Y햇 예측값에 log함수값을 곱하여 확률을 구하는 것이다.)

  - Logistic cost가 cross entropy이다. 

  - 위의 식을 여러개의 Training Set에 대하여 구할 때는 D(S, L)에 대한 합에 대한 갯수로 나누어 평균을 구한다. 

> Minimize

  - Gradient Descent 알고리즘을 사용해 W값을 구함.

  - 기울기는 cost함수를 미분하는 것이다. 이렇게 내려가면서 최소값을 찾으면 최적의 W값을 찾게됨.

  - 내려가는 값의 간격은 알파(learning_rate)이다. 

Tensorflow 구현하기 

> Hypothesis

  - tf.nn.softmax(tf.matmul(X,W) + b)

> Cost function

  - 깃헙 소스

Fancy Softmax Classifier

용어: Logits (score), Reshape

 - Score(Logits)을 softmax에 넣으면 확률이 나옴. tf.nn.softmax_cross_entropy_with_logits 호출

  - one_hot을 사용하게 되면 rank가 N에서 N+1로 변해서 reshape을 해주어야 한다. (잘 이해안감), 깃헙소스

     + Hypothesis 와 cost function을 만듦 

  + 학습을 시킴 => 결과를 측정해봄

정리

W,B -> Hypethesis -> Const fuction -> Minimize(Convex에 대해 GD 사용) -> Train -> Prediction

Linear Regression

  - One Variable

    + Hypothesis: 1차원  Wx + b  => H(x) = Wx + b

    + Cost function: Convex Function 형태로 만듦.

    + Gradient Descent Optimizer를 사용하려면 Convex 형태로 매끈한 모양이 나와야 함. Logistic Cost(Cross Entropy)도 convex로 만들어줌.

  - Multi Variables (Features): x값이 여러개 있을 경우

     + Hypothesis: n차원의 x와 w를 갖는 Wx + b => matrix를 이용한다. => H(X) = XW

     + Matrix의 row === instance 

        x [5,3] = 5개의 row와 3차원의 x갯수

        w [3,1] = 3차원의 x갯수 대응 w와 결과값 y갯수 1개

        예) W1x1 + W2x2 + W3x3 + b

        n차원의 x를 가짐

Logistic Regression (Classification)

  - Binary Classification: 분류값이 둘중 하나일 경우

     + Hypothesis: Sigmoid

     + Cost Function: Logistic Cost

  - Multinomial Classification: 분류값(y)이 여러개일 경우

    + Hypothesis: Softmax

    + Cost Function: Cross Entropy (=== Logistic Cost)

       y값이 multi classification임 

<참조>

- Tensorflow 구현한 강좌소스, 깃헙

- 강좌 파일 및 강좌 목차

- 회귀분석

- 구글 코랩 설명

- 선형회귀 이해