비용함수

[핸즈온 머신러닝] 5. 정규화

5. Regularization 목차 5-1. 정규화 1. 과대적합 2. 비용 함수 3. 정규화된 선형 회귀 4. 정규화된 로지스틱 회귀 5. 릿지 회귀, 라쏘 회귀, 엘라스틱넷 5-2. 성능 측정법 5-1. 정규화 1. 과대적합 과대적합(overfitting) 모델이 훈련 데이터에는 너무 잘 맞지만 일반성이 떨어지는 현상 예시 만일 특성(feature)이 매우 많아지면, 훈련된 모델은 학습 데이터 셋에 매우 잘 맞을지 모름 그러나 새로운 데이터 샘플로 일반화되지 않을 수 있음 예로, 새로운 집 면적에 대해 집 값을 예측을 선형회귀를 이용한다고 하자. 왼쪽부터 순서대로 과소적합(underfitting), 알맞은 모델, 과대적합(overfitting)된 모델이다 또한 로지스틱 회귀(분류)에서도 아래와 같이..

[핸즈온 머신러닝] 4장. 로지스틱 회귀(분류)

4. Logistic Regression(Classification) 목차 4-1. 로지스틱 회귀(분류)와 모델 설계 1. 로지스틱 회귀(분류) 2. 가설 설계 3. 결정 경계 4-2. 비용 함수 1. 로지스틱 회귀와 비용함수 2. 단순화된 비용 함수와 경사 하강법 3. 고급 최적화 기법 4. 크로스 엔트로피 4-3. 다중 레이블 분류: one-vs-all 4-1. 로지스틱 회귀(분류)와 모델 설계 1. 로지스틱 회귀(분류) 로지스틱 회귀(logistic regression)란? 샘플이 특정 클래스에 속할 확률을 추정 추정된 확률이 50%이상이면 샘플이 해당 클래스에 속한다고 예측함 예시: 스팸/햄 메일, 악성/양성 종양 분류기의 종류 이진 분류기(Binary Classifier) 두 개 클래스를 구분 ..

[핸즈온 머신러닝] 3장. 다항 선형 회귀

3. Linear Regression with multiple variables 목차 3-1. 다항 선형 회귀 1. 다항 선형 회귀란? 2. 2개 이상의 특성 3. 경사하강법 4. 특성과 다항 회귀 3-2. 정규 방정식 3-1. 다항 선형 회귀 1. 다항 선형 회귀란? 단항 선형 회귀(이전 게시글 참고) https://codingsmu.tistory.com/111 [핸즈온 머신러닝] 2장. 단항 선형 회귀 2. Linear Regression with one variable 목차 1. 선형회귀란? 2. 모델설계 3. 비용 함수 4. 경사 하강법 1. 선형회귀란? 회귀(Regression) 연속적인 종속 변수와 한 개 이상의 독립 변수 사이의 관계를 추정하.. codingsmu.tistory.com 다항 ..

[핸즈온 머신러닝] 2장. 단항 선형 회귀

2. Linear Regression with one variable 목차 1. 선형회귀란? 2. 모델설계 3. 비용 함수 4. 경사 하강법 1. 선형회귀란? 회귀(Regression) 연속적인 종속 변수(y)와 한 개 이상의 독립 변수(x) 사이의 관계를 추정하는 통계적인 과정 종속 변수 : y, 결과 변수 독립 변수: x, (입력) 특성 관계: 모델(model), 가설(hypothesis) 회귀의 종류 특성의 개수에 따라 단항 선형 회귀: 특성 개수 한 개 다항 선형 회귀: 특성 개수 두 개 이상 정규화 방법에 따라 릿지 회귀 라쏘 회귀 엘라스틱넷 선형 회귀(Linear Regression) 특성의 가중치 합과 편향(bias) 상수를 더해 결과 변수를 예측하는 과정 단항 $\hat{y} = h_\th..