[Coursera Stanford Machine learning (week 1)] Model and Cost Function

Data Science/Machine Learning

sunnyshiny 2023. 2. 1. 16:48

728x90

해당 내용은 coursera Andrew Ng교수의 Machine Learning강의노트

Model and Cost function

주택 크기로 주택 가격을 예측하려 할 때 데이터로 부터 실제 주택의 가격이 얼마인지 알고 있음 →지도학습

예측하려는 타겟 변수의 값(주택가격)이 연속적인 값(continuous values) → 회귀문제

지도학습에서 우리의 목표는 주어진 학습데이터로부터 알고리즘을 학습하여 h: X⇒ Y을 찾아내는 것이다.

일차식으로 이루어진 이 함수는 선형함수(Linear Function)이며 Univariate linear regression이다.

비용함수(cost function)로 함수h(x)의 정확도를 측정할 수 있음( 우리의 가설함수 h(x)가 얼마나 잘 설명하는가)

→ 실제 값과 함수로 부터의 예측값의 차이를 제곱하여 평균을 취함

$$J( \theta_0 , \theta_1) = \frac{1}{2m}\sum_{i=1}^{m}(\hat{y_i}-y_i)^2 = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x_i)-y_i)^2 $$

다음의 간단한 학습데이터로 x -y평면에서 h(x)과 파라미터의 변화에 따른 비용함수를 보면

$\theta_1 = 1$ 일 때, 예측값과 실제값의 차이는 0이다

→ x가 1일 때 h(x)의 값은 1이고 y도 1의 값을 갖는다. 모든 x에 대해 예측값과 실제값의 차이의 제곱하면 0이다.

따라서 $\theta_1 = 1$ 일때 비용함수의 값은 0을 갖게 된다.

$\theta_1 = 0.5$ 일 때, 예측값과 실제값의 변화는 0.58이 된다.

$\theta_1 $ 값을 다양하게 시도해 보면 다음의 그래프를 그릴 수 있다.

비용함수를 최소화시키는 것이 목적이므로 주어진 데이터에서 파라미터가 1일 때 비용함수가 global mininum임을 알 수 있다.

$\theta_0 $와 $\theta_1 $ 두개의 파라미터를 가진 비용함수를 그래프로 나타내면 다음과 같은 3차원 그래프가 된다

3차원의 비용함수를 각 파라미터값의 변화에 따라 동일한 비용값을 나타내는 선을 연결한 등고선 그래프로 표현하면 다음과 같다

등고선 그래프에서 가장 작은 타원의 중심이 global mininum이 된다. 아래의 그림은 global minmum은 아니지만 global minmum에 가까운 값을 갖는다.

global mininum에서 멀어질수록 비용은 커지게 된다.

Refrenece
Machine learning , Coursera, Andrew Ng

728x90