[한국공공정책신문=김유리 기자]
◇ 회귀분석의 개념
회귀분석(Regression analysis)이란 어떤 변수가 다른 변수와 어떤 상관관계에 있는지를 추정하기 위한 통계학적 기법의 하나이다. 원인이 되는 변수(설명변수)와 결과가 되는 변수(목적변수) 사이에 회귀식 y=ax+b로 표시되는 관계가 있다고 하면, 관측치로부터 최소제곱법이라고 하는 ‘오차의 제곱의 합을 최소로 한다’라고 하는 방법을 사용한다. 이에 따라 a, b가 요구되므로 이 회귀식을 바탕으로 장래 예측이나 요인 분석을 실시하는 방법을 말한다. 또 이것을 단회귀, 직선회귀 등이라고도 한다. 예컨대, 과거 생산량과 제조비용 데이터에서 회귀식을 구함으로써 미래 생산량에 대한 제조비용 예측이 가능하다. 생산량 1단위당 제조비용이 얼마나 증가하는지를 나타내는 기울기가 변동비로 나타나고 절편이 고정비로 나타난다.
◇ 회귀분석의 설명변수
단회귀가 설명변수는 하나인 반면, 여러 설명변수를 가질 경우, 다중회귀라고 불리며 복잡성도 올라간다. 단, 해결의 접근법은 단회귀와 같다. 다만, 그래프 등으로 나타내는 것과 같은 가시화는 하기 어려워진다. 이 경우는 주성분 분석 등을 이용해 차원을 압축하고 2차원 평면에서 플롯(plot)하는 방법을 취할 수도 있다. 설명변수가 늘어난다는 것은 설명변수끼리의 연관성도 복잡화되기 때문에 회귀가 불안정해지거나 해가 나오지 않는 등의 상태가 나온다.
◇ 설명변수의 차수
그다음에 설명변수의 차수가 올라간 것을 다항식 회귀라고 하고 y=ax2+bx+c와 같은 형식으로 표현이 된다. 이렇게 하면 직선뿐만 아니라 곡선적인 분포에도 대응할 수 있다. 다만 차수를 너무 높이면 미지의 데이터에 대해 크게 벗어나는 결과도 나올 수 있기 때문에 가능한 차수는 낮추도록 검토해야 한다. 이 밖에 샀다, 사지 않았다 등의 피설명변수가 0-1이 되는 경우의 것을 로지스틱(logistics) 회귀분석(regression analysis)이라고 하며, 확률값을 구하는 경우에 이용한다. 이때 사용되는 식은 loge{y/(1-y)}=ax+b와 같은 형태가 되어 통상의 y를 변환시킨 형태가 된다. 이것을 로짓 변환(logit transformation)이라고 한다. 이것으로 요구되는 곡선은 처음에는 천천히 추이하여, 어느 점 부근에서 급격하게 상승해서 마지막으로 수렴을 향하는 형태가 된다.
◇ 회귀식 구하는 방법
회귀식을 구하는 방법으로 최소 제곱법이 이용되는 경우가 많지만, 빗나간 값에 대해서 약하다는 점이 있다. 빗나간 값이 섞여 오면 그 결과에 끌려가기 쉽고, 미지의 데이터에 대한 예측이 허술한 상태가 된다. 이 회피대책으로 빗나간 값에 대해 패널티를 주거나 그 자체를 제외하거나 하는 방안을 취할 필요가 있다.
이 해결책으로는 LOWESS(회귀 smoothing법)나 로우스(LOWESS) 평활화법은 영향을 받을 것 같은 점을 무시하거나 영향을 적게 하는 방법이다. 또한 L2 정규화, L1 정규화라고 불리는 방법도 있는데 이것은 최소제곱법으로 조립하는 방정식 안에 패널티를 주는 방법이다.
◇ 회귀분석의 타당성 검토
또한 신경망을 이용한 회귀분석도 널리 사용되고 있다. 타당성 검토다. 모델이 통계적으로 어느 정도 맞는지 검토하는데 '결정계수'와 'F검정', 't검정'이라는 세 가지 값으로 판단한다. ① 결정계수 : 설명변수가 목적변수의 어느 정도를 설명할 수 있는지를 나타내는 값으로 0~1 사이의 값을 따서 기여율이라고 불리기도 한다. ② F검정(F-test) : 모델 전체의 타당성을 검토할 때 사용하는 값이다. F값의 유의확률(p-value)을 판단기준으로 사용한다. 유의확률의 비교는 99%의 경우에는 0.01이지만, 95%의 확률로 검정하는 경우에는 0,05와 비교하여 타당성을 검증한다. ③ t검정 : 모델 전체의 타당성을 F검정시험으로 판단한 후에 각각의 파라미터 계수 a와 상수 b)의 타당성을 검증한다. 각각의 유의확률이 0.01보다 작으면 타당하다고 판단한다. 보다 정밀도가 높은 모델을 검토한다. 직선적인 식보다 곡선으로 나타내는 것이 더 현실에 맞는 경우도 있기 때문에 설명변수의 차수를 높이거나 하면 더 좋은 결과를 얻을 수도 있다.
이규철 / 법학박사(상법)
∙ AI·GPT, SDGs&ESG 코치 및 강사
∙ 100세대학 크리에이터 및 칼럼니스트
∙ 생성AI와 챗GPT, SDGs·ESG경영전략,
글로벌 MBAtoCEO, 리더의 필승전략,
100세대학 행복디자인 매뉴얼 등 27권
∙ 일본(와세다대),중국(복단대·화동정법대)
){kind=small}
){kind=small}
){kind=small}
){kind=small}