통계학 : 회귀분석 개념

회귀분석

반응변수와 설명변수를 관측하여 회귀함수를 추정하는 것.

 

Y = 반응변수(response variable), 종속변수 (dependent variable)

X1,...,Xp : 공변량(covariates), 설명변수

: 오차항 (error term)

f() : 회귀함수 ( regression function)

 공변량

여러 변수들이 공통적으로 함께 공유하고 있는 변량

종속변수에 대하여 독립변수와 기타 잡음인자를 공유하는 변량을 의미한다.

실험결과의 독립변수 이외에 종속변수에 영향을 줄 수 있는 잡음인자를 통제하고자 하는 변수

 

공변량 분석은 독립변수 이외의 잡음인자들이 종속변수에 영향을 미치는 것을 통제함으로써

독립변수 자체의 순수한 영향을 측정하는데 목적이 있다.

 

두가지 형태의 모형

 

결정적(수학적) 모형 deterministic(mathematical)

input 과 output의 관계가 오차 없이 명확

Y = f(X1,...,Xp)

ex) 주로 자연과학 모형

힘 = 질량 * 가속도

화씨 = 32+1.8*섭씨

 

통계적 모형 (Statistical)

output 이 input에 의해 영향을 받는 경향을 보이나, 언제나 오차를 수반

Y = f(X1,...,Xp) + e

ex) 주로 사회과학 모형, 자연과학모형이라도 결과를 정확히 예측 불가능한 경우

매출액 = 100+ 0.1 * 광고비 + e

수축기 혈압 = 110+0.1*연령+0.15*몸무게+e 

모수회귀모형(parametric regression model)

1.단순선형회귀모형(simple linear regression model) 

2.다중선형회귀모형(multiple linear regression model)

 

3.비선형회귀모형(non-linear regression model)

 

4.k-차 다항회귀모형(k-th degree polynomial regression model)

 

공변량은 한 개다. 

5. 로지스틱 회귀모형(logistic regression model)

반응변수가 이항분포를 따를 때

6. 로그선형모형(log-linear regression model)

반응변수가 포아송 분포를 따를 때

 

비모수회귀모형

회귀함수의 형태를 구체적으로 명시하지 않고 함수의 추정치를 계산

 

회귀모형의 구분

참모형(true model) : only God knows, 실제 모형을 뜻하지만 모르는 부분이다.

설정모형(postulated model) : 산점도를 보고 어떤 회귀모형을 따를지 예측하여 설정한다.

적합모형(fitted model) : 관측치에 대해 설정모형을 최적화 시킨다. 

 

참조 : K-MOOC [A.I. SERIES] R을 활용한 통계학개론 김충락교수님 자료,

네이버 지식백과

위키백과