BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 2장: 최소 제곱
2장 : 최소 제곱 모델 최소 제곱 모델(=OLS) 정의 1) 개념: 목표값과 본 모델에서 도출되는 예측값을 이용해 정의한 비용 함수가 평균 제곱 오차 (MSE)인 모델 → 예측값과 목표값의 차이인 잔차 제곱
sol-butter1472.tistory.com
2장: 최소 제곱 모델
BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 3장: 로지스틱
BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 2장: 최소 제곱 2장 : 최소 제곱 모델 최소 제곱 모델(=OLS) 정의 1) 개념: 목표값과 본 모델에서 도출되는 예측값을
sol-butter1472.tistory.com
3장 : 로지스틱 회귀 모델
BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 4장: 라쏘 모델
BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 2장: 최소 제곱 2장 : 최소 제곱 모델 최소 제곱 모델(=OLS) 정의 1) 개념: 목표값과 본 모델에서 도출되는 예측값을
sol-butter1472.tistory.com
4장 : 라쏘 모델
5장 : 릿지 회귀 모델
릿지 회귀 모델
릿지 회귀는 규제가 추가된 선형 회귀로,
규제항이 비용함수에 추가됨으로써 학습 알고리즘 이 데이터에 맞추는 것 뿐만 아니라 모델의 가중치가 작게 유지되도록 해, 모든 독립 변수가 종속 변수에 미치는 영향을 최소화 하는 제약을 반영한 회귀 모델
overfitting을 막기 위해
다음과 같은 정규화 과정을 거친다.
람다를 크게 설정하면 언더피팅
variance는 적지만 맞지 않는 모델 beta가 다 날라가고 y절편만 남는다.
람다를 작게 설정하면
오버피팅이 된다.
variance가 크게 설정되고 미래에 대한 데이터 예측하기엔 부족
정규화는 회귀계수 beta가 가질 수 있는 값에 제약조건을 부여하는 법
제약조건에 의해 bias가 증가할 수 있지만 variance가 감소
릿지 회귀 모델 구현
라쏘와 다르게 규제 페널티 항 α ∥ w ∥2 2 이 미분 가능하므로 미분하여 기울기가 0이 되는 지점을 쉽게 찾을 수 있다.
시간 복잡도
입력 특성의 수 (n)에 대해 O( n^3)
패키지로 구현하기
sklearn.linear_model.Ridge 클래스 사용
릿지 회귀 모델 보충
- 편향-분산 상충 관계와 릿지 회귀의 분산
알파가 커질수록 모델의 분산은 줄어 들고 편향은 커진다.
라쏘 vs 릿지
'공부' 카테고리의 다른 글
| 뉴럴네트워크모델1(구조,비용함수,경사하강법) (0) | 2023.12.29 |
|---|---|
| 오차역전파 (0) | 2023.12.29 |
| BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 4장: 라쏘 모델 (0) | 2023.12.11 |
| BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 3장: 로지스틱 회귀 모델 (0) | 2023.12.11 |
| BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 2장: 최소 제곱 모델 (0) | 2023.12.11 |