뉴럴네트워크모델1(구조,비용함수,경사하강법)

 

  로지스틱 회귀모델
1. 입력변수의 선형결합
2. 선형결합 값의 비선형 변환(sigmoid function 통해서)

퍼셉트론

-단층 퍼셉트론 (초기)
-입력값의 선형결합 값을 구하고 그 값이 0보다 큰지를 여부로 분류

Boolean XOR 한계.
직선으로 구별 불가능. 

2중 퍼셉트론(=뉴럴네트워크 모델)
-단층 퍼셉트론에서 나아간 개념
- 2개의 퍼셉트론을 결합
- 2개의 입력변수와 1개의 출력변수

로지스틱 회귀모델을 한 번 더 수행한 모델


다층 퍼셉트론->인공신경망

입력층: 입력변수의 값이 들어오는 곳 , 입력변수의 수 = 입력 노드의 수
은닉층: 은닉층에는 다수 노드 포함 가능, 다수의 은닉층 형성 가능
출력층: [범주형] 출력 노드의 수 = 출력 변수의 범주 개수
           [연속형] 출력 노드의 수 = 출력 변수의 개수



x변수들의 선형 결합 -> 선형 회귀 모델
x들의 선형 결합을 로지스틱으로 비선형 변환 -> 로지스틱 회귀 모델
선형 결합의 로지스틱 변환 후 한 번 더 진행 -> 뉴럴네트워크 모델



뉴럴네트워크 파라미터

파라미터: 층 간 노드를 연결하는 가중치 -> 알고리즘으로 결정
하이퍼파라미터: 은닉층 개수, 은닉노드 개수, activation function ->사용자가 임의로 결정



sigmoid function

large input->small output
아웃풋범위: 0~1
인풋값에 대해 단조증가 혹은 단조감소 함수
미분결과를 아웃풋의 함수로 표현 가능(gradient learning method에 유용하게 사용)




비용함수
-뉴럴네트워크 파라미터 결정


수치 예측
-예측값과 실제값의 차이 측정
-미분 가능해야함
-Regression: MSE


분류
-예측값과 실제값의 차이 측정
- Clssification: cross entropy
-미분 가능해야함



파라미터 추정 방법 중 핵심 개념 경사하강법

Gradient: 함수의 기울기
a first-order optimization algorithm
optimization: 함수의 최솟값 혹은 최댓값을 찾는 과정
모든 turning point가 최솟값 혹은 최댓값은 아님
turning points 의 개수는 함수의 차수에 의해 결정
최솟값들 중 가장 작은 최솟값: 전역 최솟값
지역적인 최소값: 지역 최소값

비용함수를 최소화하는 w를 찾는 알고리즘의 개념, 방법론