통계학 : 단순 선형 회귀모형

단순 선형 회귀모형(simple linear regression model)

(= 직선회귀모형 (straight line regression model)

모회귀선

모회귀모형

표본회귀선

표본회귀모형

 

 = 일 때 의 조건부 기대값

 = 반응변수, 실제 관측치

= 에 대한 추정치

 = 오차항

강한가정  e ~ N(0,sigma^2)

약한 가정 E(e) = 0 , Var(e) = sigma^2

 = 잔차 (residual)

에 의해 자유도는n-2가 된다.

= 회귀계수(regressuib ciefficients), 추정해야할 모수

 = 의 추정치

 

단순회귀모형의 목표

3개의 모수 beta0,beta1,sigma^2을 추정

 

최소제곱추정(LSE : least squares estimation)

 

정규방정식 : 자주 사용되니 외워두면 좋음

 

 

 

최소제곱추정 결과 적합된 회귀식(fitted regression line)

잔차(residual)

실제 값과 적합된 회귀식의 값의 차이

의 추청지

( 이 제약식으로 자유도는 n-2 이다.)

 

의 신뢰구간

에 대한 검정은 t(n-2)분포를 사용한다.

 

회귀모형의 적합도

       SST      =        SSR      +        SSE

Total Sum of Squares = Regression SS + Error SS(Residual SS)

총제곱합 = 회귀제곱합 + 잔차 제곱합

d.f. : (n-1) = 1 + (n-2)

SST는 제약식이  1개이다.

SSE는 제약식이  2개이다.

SSR은 SST와 SSE로 인해 자유도가 정해진다.

 

잔차의 합은 0이기 때문에 이다. 

 

회귀의 분산분석표(ANOVA : ANalysis Of VAriance)

MSR = Regression Mean Squares

SSR / d.f(SSR) 로 구한다.

MSE = Error Mean Squares

SSE / d.f(SSE) 로 구한다.

F-ratio

값이 클수록 회귀평균제곱이 크기 때문에 설명력이 높다고 볼 수 있다.

 

결정계수 (coefficient of determination)

결정계수가 높을 수록 적합이 잘 된것이라고 볼 수 있다.

단순선형회귀의 경우 결정계수 = 표본상관계수의 제곱

참조 : K-MOOC [A.I. SERIES] R을 활용한 통계학개론 김충락교수님 자료,

네이버 지식백과

위키백과