Be easy

1. 기울기 소실 문제와 활성화 함수 오차 역전파는 출력층으로부터 하나씩 앞으로 되돌아가며 각 층의 가중치를 수정하는 방법 층이 늘어나면 역전파를 통해 전달되는 기울기의 값이 점점 작아져 맨 처음 층까지 전달되지 않는 기울기 소실(vanishing gradient)문제 발생 이는 활성화 함수로 사용된 시그모이드 함수의 특성 때문 시그모이드 함수의 미분값 최대치는 0.3인데 1보다 작으므로 계속 곱하면 0에 수렴 따라서 여러 층을 거칠수록 기울기가 사라져 가중치를 수정하기 어려워짐 ※시그모이드 대체 함수 하이퍼볼릭 탄젠트 함수(tanh) 시그모이드 함수의 범위를 -1에서 1까지로 확장한 개념 미분한 값의 범위가 함께 확장됨 여전히 1보다 작은 값이 존재하므로 기울기 소실 문제 해결 X 렐루 함수(ReLU)..

1. 오차 역전파(back propagation) 다층 퍼셉트론에서의 최적화 과정 결과값의 오차를 구해 하나 앞선 가중치를 차례로 거슬러 올라가며 조정 → 최적화의 계산 방향이 출력층에서 시작하여 앞으로 진행 가중치에서 기울기를 빼도 값의 변화가 없을 때까지 계속해서 가중치 수정 작업을 반복 동작 임의의 초기 가중치 W를 준 뒤 결과를 계산 계산 결과와 우리가 원하는 값 사이의 오차를 계산 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트 미분 값이 0에 가까워지는 방향으로 나아간다는 의미 위 고정을 더이상 오차가 줄어들지 않을 때까지 반복 2. XOR 문제를 오차 역전파 방식으로 해결하기 환경 변수 지정 환경 변수에는 입력 값과 타깃 결과값이 포함된 데이터셋, 학습률 등이 포함 ..

성냥 6개로 정삼각형 4개를 만들 수 있는가 2차원 평면에서만 해결하려는 고정 관념을 깨고 차원을 달리 생각해야 한다. 6장에서 보았던 문제 역시 고정 관념을 깨야 한다. 이런 문제를 해결하기 위해 두 개의 퍼셉트론을 한 번에 계산할 수 있어야하고, 은닉층(hidden layer)을 구현하여 해결 1) 다층 퍼셉트론의 설계 가운데 점선으로 표시된 부분이 은닉층 1. 입력 값에 각각 가중치를 곱하고 바이어스를 더하여 은닉층에 전송 은닉층의 중간 정거장을 노드(node)라고 하며, n1과 n2로 표시 만약 활성화 함수로 시그모이드 함수를 사용한다면 n1과 n2의 값은 아래와 같다. 2. 은닉층에 취합된 값들은 활성화 함수를 통해 출력층으로 보내짐 출력층 역시 시그모이드 함수를 통해 결정 3. 가중치와 바이어..

인공지능, 머신러닝, 딥러닝 위 그림처럼 딥러닝은 머신러닝의 한 종류이며, 머신러닝은 인공지능의 한 종류 모델 머신러닝은 간단히 ‘데이터를 이용한 모델링 기법’이라고 표현 다시 말하면, 데이터들 중에서 ‘모델’을 뽑아내는 기법 모델은 머신러닝을 통해 얻을 수 있는 최종 결과물을 의미 모델은 ‘가설(Hypothesis)’이라고도 함 과적합(Overfitting) Overfitting은 학습 데이터에 너무 최적화를 하다보니, 실제 데이터와 차이가 많이 발생하는 모델을 만들게 되는 현상 학습 데이터에도 Noise 등이 섞인 데이터들이 섞여 있을 수 있기 때문에 Overfitting을 방지하는 기법들을 적용해야 더 좋은 결과물이 나올 수 있음 반대되는 경우는 Underfitting 위 그림과 같이 Underfi..

1. 신경망 뉴런과 뉴런 사이에는 시냅스라는 연결 부위가 존재 신경 말단에서 자극을 받으면 시냅스에서 화학 물질이 나와 전위 변화를 일으킴 전위가 임계 값을 넘으면 다음 뉴런에 신호를 보내고, 넘지 않으면 아무 동작도 하지 않음 → 로지스틱 회귀의 원리와 유사 뉴런과 비슷한 메커니즘을 사용하여 인공적으로 생각하는 무언가를 만드는 것, '인공 신경망(Artificial Neural Network)' 2. 퍼셉트론(perceptron) 신경망을 이루는 가장 중요한 기본 단위 입력 값과 활성화 함수를 사용해 출력 값을 다음으로 넘기는 가장 작은 신경망 단위 1) 가중치, 가중합, 바이어스, 활성화 함수 딥러닝 용어로 표현해보면 y=ax+b → y=wx+b 기울기 a → 가중치 w(weight) y절편 b → ..

1. 로지스틱 회귀(logistic regression) 참과 거짓 중 하나를 내놓는 과정 참과 거짓 사이를 구분하는 s자 형태의 선을 그려가는 작업 ex) 공부한 시간 2 4 6 8 10 12 14 합격 여부 불합격 불합격 불합격 합격 합격 합격 합격 2. 시그모이드 함수(sigmoid function) S자 형태로 그래프가 그려지는 함수로, 로지스틱 회귀를 풀 때 사용 구해야 하는 값은 ax+b a는 그래프의 경사도를 의미 b는 그래프의 좌우 이동을 의미 따라서 a와 b에 따라 오차가 변함 a값이 작아지면 오차는 무한대로 커짐 그러나 a값이 커진다고 해서 오차가 무한대로 커지지 않음 b와 오차의 관계는 이차 함수 그래프와 유사한 형태로 나타남 3. 오차 공식 경사 하강법을 이용하여 a와 b를 구함 경..

1. 다중 선형 회귀(Multiple Linear Regression) 여러 개의 독립 변수와 하나의 종속 변수의 선형 관계를 모델링하는 것 기존 단순 선형 회귀에서 정보(x값)를 추가해 새롭게 예측 단순 선형 회귀와의 비교 빈 공간이 많아짐 계산이 복잡해짐 더 많은 데이터가 필요 2. 다중 선형 회귀 예제 공부한 시간(x1) 2 4 6 8 과외 수업 횟수(x2) 0 4 2 3 성적(y) 81 93 91 97 Code) import numpy as np import pandas as pd import matplotlib.pyplot as plt from mpl_toolkits import mplot3d #공부시간 X와 성적 Y의 리스트를 만듭니다. data = [[2, 0, 81], [4, 4, 93],..

1. 적절한 학습률(learning rate) 학습률이 높을 경우 한 번에 이동하는 거리가 커지므로 최적값에 빨리 수렴할 수 있다. 그러나 너무 크게 설정하면 최적값에 수렴하지 못하고 다른 곳으로 발산하는 경우 발생 학습률이 낮을 경우 발산하지 않는 대신 최적값에 수렴하는 시간이 오래 걸림 2. local minimum 지역 최솟값에 안착해 버리는 경우 전역 최솟값을 찾지 못하고 local minimum에 수렴 3. 해결법 Adaptive Gradient Descent 학습 도중에 학습률을 지속적으로 변경 Momentum GD local minimum에 빠지는 경우를 방지하기 위해 관성력을 추가 이외에도 다양한 경사하강법 존재

기울기 a를 너무 크게 잡거나 작게 잡으면 오차가 커진다. 이 그래프 상에서 오차가 가장 작을 때는 그래프의 가장 아래쪽 볼록한 부분인 m의 위치에 있을 때이다. 평균 제곱 오차를 구하는 방법을 통해 기울기를 적절히 바꾸어 m의 위치에 이르게 하면 최적의 기울기를 찾는 것. 이 과정을 컴퓨터가 판단해야하는데 이런 판단을 하게 하는 방법이 미분 기울기를 이용하는 경사 하강법 경사 하강법은 오차의 변화에 따라 이차 함수 그래프를 만들고 적절한 학습률을 설정해 미분 값이 0인 지점을 구하는 것 1. 경사 하강법의 개요 경사 하강법(Gradient descent) 1차 근삿값 발견용 최적화 알고리즘 함수의 기울기를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를 때까지 반복 이때의 극값은 m이고, m에서..

1. 선형 회귀(linear regression) 종속 변수 y와 한 개 이상의 독립 변수 x와의 선형 상관 관계를 모델링하는 회귀분석 기법 독립 변수 : 독립적으로 변할 수 있는 값 x, 정보 요소 종속 변수 : 독립 변수에 따라 종속적으로 변하는 값 y 하나의 x만 있을 때는 단순 선형 회귀(simple linear regression) x가 여러개일 때는 다중 선형 회귀(multiple linear regression) 선형 회귀란 주어진 데이터에서 최적의 a값과 b값을 찾아내는 과정 2. 최소 제곱법 회귀 분석에서 사용되는 표준 방식으로 기울기 a와 y절편 b를 구할 수 있음 최소 제곱법은 단순 선형 회귀에서만 사용 가능 기울기 a구하기 y절편 b 구하기 ex) 공부한 시간 2시간 4시간 6시간 ..