회귀분석

도시계획가는 도시계획의 과정에서 여러 종류의 변수들이 서로 어떤 관계를 가지는지 규명해야 하는 경우가 자주 있다.이를 테면 지역 총생산과 인구, 통행량과 직장수, 그리고 도심으로부터의 거리와 지가 등 두 변수 사이의 관계를 분석하거나 또는 여러 변수의 값이 주어졌을 때 다른 변수값을 예측해야 하는 경우를 자주 만난다. 이와 같이 변수들 사잉의 관계를 분석하는 통계적 분석방법으로 상관분석(correlation analysis)과 회귀분석(regression analysis)이 많이 활용된다.

상관분석이란 상관계수를 이용하여 두 변수의관계가 얼마나 밀접한가를 측정하는 통계적 분석방법인 반면 회귀분석이란 둘 또는 그 이상의 변수들 간에 존재하는 관련성을 분석하기 위하여 관측된 자료에서 이들 변수들 간의 함수적 관걔식을 통계적으로 추정하는 방법이다. 회귀분석에서 원인의 역할을 하는 변수를 독립변수, 다른 변수의 영향을 받는 변수를 종속변수라고 한다. 회귀분석은 분석에 이용되는 변수의 수에 따라 단순회귀분석과 다중회귀분석으로 구분된다. 단순회귀분석이란 하나의 종속변수와 하나의 독립변수 사이의 관계를 추정하는 분석을 말하며, 관계식이 선형일 경우 단순선형회귀분석이라고 한다. 다중회귀분석은 하나의 종속변수와 여러 개의 독립변수 사이의 관계를 추정하는 분석을 말하며, 관계식이 선형일 경우를 다중션형회귀분석이라고 한다.

 

회귀모형의 추정 및 가설검정

1.회귀모형의 추정

단순회귀분석이란 쌍으로 관찰된 두 연속형 변수들 사이에 특정한 관계가 있다고 전제한 후 두 변수 사이의 관계식을 구하는 통계분석 방법이다. 단순선형회귀분석이란 관찰된 표본자료로부터 두 변수간의 관계를 가장 잘 나타낼 수 잇는 직선을 찾아내는 작업이라고 할 수 있다. 단순선형회귀분석에서 독립변수를 X, 종속변수를 Y라고 할때 다으모가 같이 선형회귀모형을 정의한다.

 

 

회귀분석은 표번자료를 이용하여 모수들에 대한 추정을 실시한 후 추정된 회귀선을 이용하여 회귀분석의 기본가정들에 대한 검정을 실시하여야 하는데 회귀모형에서의 기본적인 가정은 다음과 같다. 

(1)오차항의 평균은 0이다.

(2)오차항들의 분석은 일정하다. 즉, X의 모든 값에 대하여는 그의 평균을 중심으로 동등한 분산을 갖는다

(3)오차항들은 자기상관되어 있지 않다.

(4)독립변수X는 고정된 값을 취한다. 즉, 확률변수가 아니다

 

모집단의 회귀식과 추정된 회귀식은 다음과 같이 표현될 수 있다.

위의 회귀보형식에서 n개의 표본관측결과를 이용하여 추정량을 구하는데 최소제곱법을 이용한다.

지금까지 설명한 단순 회귀모형이란 독립변수가 하나인 회귀모형이라고 정의하였다. 그러나 현실적으로 종속 변수에 영향을 미치는 독립변수의 수는 두 개 이상인 경우가 많다. 이외 같이 회귀모형에서 두 개 이상의 독립변수를 포함하는 경우를 다중회귀 모형이라고 한다. 종속변수를 Y,k개의 독립변수를 각각 X1.X2,Xk라고 할때 다중회귀모형은 다음과 같이 표현한다.

2.회귀계수에 대한 검정

가설검정이란 모집단에 대한 어떤 가설을 설정한 뒤에 표본관찰을 통하여 그 가설의 각가 여부를 결정하는 방법이다. 예를 들면,1985년 서울시 가계당 연평균소득이 천만 원이었다. 지난 10년 동안 서울시 가계당 평균소득이 증가하였다고 하루 수있는가의 문제에 대한 답을 구하기 위하여 1995년도 서울시에 거주하는 거계를 무작위로 설발하여 소득을 조사하고 평균소득을 계산하여 가서설의 기각 여부를 결정하게 된다.

 

	x	y	xi-x	yi-y	(xi-x)(yi-y)	(xi-x)2
1	17	48	5.4	17.8	96.1	29.2
2	10	25	-1.6	-5.2	8.3	2.6
3	7	18	-4.6	-12.2	56.1	21.2
4	13	27	1.4	-3.2	-4.5	2.0
5	14	36	2.4	5.8	13.9	5.8
6	15	44	3.4	13.8	46.9	11.6
7	11	26	-0.6	-4.2	2.5	0.4
8	13	36	1.4	5.8	8.1	2.0
9	4	15	-7.6	13.8	115.5	57.8
10	12	27	0.4	-3.2	-1.3	0.2
합계	116	302	0.0	0.0	341.8	132.4
평균	11.6	30.2	-	-	-	-

가설은 귀무가설과 대립가설의 두가지로 설정하며 가설검정이란 표본관찰 또는 실험을 통하여 가설을 검정하는 과정이다. 가설검정에서 귀무가설은 모수가 특정한 값이다 또는 두 모수의 값이 같다. 등과 같이 간단하고 구체적인 경우를 지칭하며 대립가설은 모수특정한 값이 아니다 또는 한 모수의 값이 다른 모수의 값보다 크다 또는 두모수의 값이 다르다 등고 같이 모수에 대한 관심 영역 중에서 귀무가설로 지정 되지 않은 모든 경우를 포괄적으로 지정한다.

회귀분석의 경우 표본자료로부터 추정된 추정 회귀계수가 통계적으로 유의한지 살펴보기 위하여 모회귀 계수에 대한 가설을 설정하고 이를 검정해야 한다. 선형 회귀 모형에서 회귀식을 추정하는 경우 모회귀계수b가 0이 아닌가를 검저어한다. 만약 b=0이라면 종속변수값은 독립변수값에 영향을 받지 않는다고 말할 수 있다, 단순선형회귀모형에서 중요한 통계적 추론의 대상은 모회귀선의 기울기b에 대한 가설검정이다. 가설검정의 경우 회귀계수 b=0을 기가할 수 있는냐에 관심이 있으므로 귀무가설과 대립가설을 다음과 같이 설정한다.

귀무가설과 대립가설이 설정된 후 t-통계량 등을 이용하여 가설을 검정하게 된다. 일반적으로 t-분포의 경우 표본의 수가 30개를 넘어가면 표준정규분포와 거의 일치하기 때문에 표본의 수에 관계없이 t-분포를 따르는 것이 안전하다. 귀무가설하에서 검정통계량의 t-값은 다음과 같이 계한된다.

이것은 추정치의 표준오차를 말한다

계산된 t값과 t-분포표에서 가설검정을 위한 유의수준 a에 따라 찾은 t-값을 비교하여 귀무가설의 기각 여부를 결정하게된다. 이때 유의 수준이란 귀무가설을 기각할 것인가를 판단하는 기준으로, 귀무가설하에서 구한 검정통계량의 값이 나타날 확률이 유의수준a보다 작으면 귀무가설을 기각하고 유의수준a보다 크면 귀무가설을 기가할 수 없게 된다.