나비와 벌

책에 대하여 BDA 학회 7기로 활동하며 'Easy Study Project'라는 머신러닝 스터디를 진행하게 되었다. 이지스퍼블리싱에서 Do it! 시리즈 중 깃헙과 R을 읽은 적이 있어, 무척이나 반가웠다. 이 책은 사실 머신러닝을 입문하는 사람에게는 조금 난이도가 있다고 생각한다. 그럼에도 단순히 패키지를 소개하는 글이 아니라 직접 실습을 통해 구현하고 머신러닝 모델들이 어떻게 굴러가는지 상세하게 수학적으로 풀어놓았기에 머신러닝 엔지니어를 꿈꾸는 학생들에게 더할 나위 없이 도움되는 책이라고 생각한다. 책이 어떤 식으로 진행되는지 궁금한 사람들은 이전에 올려둔 포스팅들을 참고하면 도움이 될 것이다. 프로젝트 우리 팀은 대구 교통사고 피해 예측 모델링이 주제였다. 데이터 기반의 교통사고 예측 모델을 통해..

BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 9장: K-최근접 사전지식 : 거리 메트릭 거리 메트릭(distance metric) : 공간에서 두 점 사이의 거리를 측정하는 방법이나 함수를 나타낸다. 민코프스키 메트릭(Minkowski metric) : 유클리드 거리와 맨허탄 거리를 표현 sol-butter1472.tistory.com 9장:KNN 모델 정리 BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 10장: 서포트 벡 BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 9장: K-최근접 사전지식 : 거리 메트릭 거리 메트릭(distance metric) : 공간에서..

BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 9장: K-최근접 사전지식 : 거리 메트릭 거리 메트릭(distance metric) : 공간에서 두 점 사이의 거리를 측정하는 방법이나 함수를 나타낸다. 민코프스키 메트릭(Minkowski metric) : 유클리드 거리와 맨허탄 거리를 표현 sol-butter1472.tistory.com 9장: KNN 모델 정리 SVM : 두 클래스 레이블이 분포된 영역을 최대한 잘 분리하는 결정 경계를 찾는 것 결정 경계에서 점까지의 마진(=최소거리)을 최대화하는 직선 경계선과 데이터 포인트 사이에 조그마한 노이즈라도 있다면 예측에 실패할 수 있음 분류와 회귀 모두 적용 가능한 지도 학습 모델 따라서 L은 좋은 경계선 SV..

사전지식 : 거리 메트릭 거리 메트릭(distance metric) : 공간에서 두 점 사이의 거리를 측정하는 방법이나 함수를 나타낸다. 민코프스키 메트릭(Minkowski metric) : 유클리드 거리와 맨허탄 거리를 표현하는 일반적인 형태 유클리드 거리(Euclidean distance) p=2 일때 흔히 생각하는 두 점 사이의 거리 맨해튼 거리(Manhattan distance) p=1 일때 좌표 평면에 평행한 방향으로 갈때의 최솟값 대각선이 아닌 수평선과 수직선으로만 이동하여 계산된 거리 K-최근접 이웃 모델(K-NN) 지도학습에 사용되는 간단하면서도 효과적인 알고리즘 중 하나 파라미터를 따로 학습하지 않음 (비모수적 모델) 데이터 특성이 적고 명확한 경우에 유리 화이트 박스 모델 예측 방법 1..

로지스틱 회귀모델 1. 입력변수의 선형결합 2. 선형결합 값의 비선형 변환(sigmoid function 통해서) 퍼셉트론 -단층 퍼셉트론 (초기) -입력값의 선형결합 값을 구하고 그 값이 0보다 큰지를 여부로 분류 Boolean XOR 한계. 직선으로 구별 불가능. 2중 퍼셉트론(=뉴럴네트워크 모델) -단층 퍼셉트론에서 나아간 개념 - 2개의 퍼셉트론을 결합 - 2개의 입력변수와 1개의 출력변수 로지스틱 회귀모델을 한 번 더 수행한 모델 다층 퍼셉트론->인공신경망 입력층: 입력변수의 값이 들어오는 곳 , 입력변수의 수 = 입력 노드의 수 은닉층: 은닉층에는 다수 노드 포함 가능, 다수의 은닉층 형성 가능 출력층: [범주형] 출력 노드의 수 = 출력 변수의 범주 개수 [연속형] 출력 노드의 수 = 출력 ..

BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 2장: 최소 제곱 2장 : 최소 제곱 모델 최소 제곱 모델(=OLS) 정의 1) 개념: 목표값과 본 모델에서 도출되는 예측값을 이용해 정의한 비용 함수가 평균 제곱 오차 (MSE)인 모델 → 예측값과 목표값의 차이인 잔차 제곱 sol-butter1472.tistory.com 2장: 최소 제곱 모델 BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 3장: 로지스틱 BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 2장: 최소 제곱 2장 : 최소 제곱 모델 최소 제곱 모델(=OLS) 정의 1) 개념: 목표값과 본 모델에서 도출되는 ..

BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 2장: 최소 제곱 2장 : 최소 제곱 모델 최소 제곱 모델(=OLS) 정의 1) 개념: 목표값과 본 모델에서 도출되는 예측값을 이용해 정의한 비용 함수가 평균 제곱 오차 (MSE)인 모델 → 예측값과 목표값의 차이인 잔차 제곱 sol-butter1472.tistory.com 2장 : 최소 제곱 모델 BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 3장: 로지스틱 BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 2장: 최소 제곱 2장 : 최소 제곱 모델 최소 제곱 모델(=OLS) 정의 1) 개념: 목표값과 본 모델에서 도출되는..

BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 2장: 최소 제곱 2장 : 최소 제곱 모델 최소 제곱 모델(=OLS) 정의 1) 개념: 목표값과 본 모델에서 도출되는 예측값을 이용해 정의한 비용 함수가 평균 제곱 오차 (MSE)인 모델 → 예측값과 목표값의 차이인 잔차 제곱 sol-butter1472.tistory.com 2장: 최소 제곱 모델 설명 3장 : 로지스틱 회귀 모델 경사 하강법 - 모델의 비용 함수를 최적화하는 과정 중 하나 최대 하강법 - 매 반복마다 해당 점에서의 gradient(기울기)를 계산 -> 이 역방향의 상수 배만큼 좌표 이동해 지역 최적값 탐색 사전 지식 - Convex Function(볼록 함수) - 함수 f : R^n -> R이 ..

2장 : 최소 제곱 모델 최소 제곱 모델(=OLS) 정의 1) 개념: 목표값과 본 모델에서 도출되는 예측값을 이용해 정의한 비용 함수가 평균 제곱 오차 (MSE)인 모델 → 예측값과 목표값의 차이인 잔차 제곱합을 최소화하는 파라미터 w를 찾는 모델 2) 방법: 정규방정식 이용/특잇값 분해 이용/tsvd-ols 이용/패키지로 표현 정규 방정식을 이용한 풀이 이론 - 가장 기본적이고 직관적인 방법 - X = n*p인 피처 행렬, y = 목표값 - X는 다중공선성이 X인 상태 = 풀칼럼랭크일 때! = ols 적용을 위한 최소한의 필요조건 1) OLS 식 y = X*w + ∑ - 선형 결합 - 차항 - 목표: 오차 제곱의 합 최소화 (모델 성능을 높이기 위해) 위 과정을 통해 해를 구할 수 있다. - 극값이 최..