[한국공공정책신문=김유리 기자]
◇ 최소제곱법의 개념
최소제곱법은 통계 분석이나 기계학습 분야에서 측정데이터와 특정 함수의 오차를 측정할 때 이용되는 기법이다. 최소제곱법은 통계학에서는 회귀분석 등에서 모델 함수의 해당 여부를 평가하기 위해 사용된다. 예컨대, 선형회귀분석에서 측정데이터에 대해 1차 함수를 이용해 해당 사항을 평가한다고 한다.
이 경우에는 임의의 직선과 측정 데이터군과의 유클리드 거리인 오차의 제곱합을 구한다. 이 제곱합이 최소가 되도록 회귀 직선을 찾는다. 마찬가지로 다중회귀분석(Multiple regression analysis)이나 다변량해석(multivariate analysis)으로 함수 근사하는 경우도, 오차의 제곱합을 구하고 최소가 될 모델함수를 구한다.
*주) 선형회귀분석(linear regression analysis)이란 2개 이상의 양적 변수 간의 관계를 직선적인(선형)식으로 나타내는 기법이다. 매출이나 출하수 등의 예측하고 싶은 정보를 ‘목적 변수(종속 변수)’, 매출이나 출하 수가 증가하거나 줄거나 하는 원인이라고 생각되는 정보를 ‘설명 변수(독립 변수)’ 등이라고 부른다.
◇ 최급 하강법의 개념
최급 하강법은 최적화 문제의 경사 강하법 알고리즘 중 하나이다. 기울기의 가장 가파른 방향으로 강하하는 것을 의미하며, 최소제곱법과 함께 19세기 독일 수학자 가우스가 발견했다.
최급 하강법은 최소제곱법을 보다 일반화한 것으로, 측정데이터와 모델함수의 오차에 따른 함수(오차함수)의 최소를 구하기 위한 최적화를 수행하는 방법이다. 복잡한 분류 문제의 경우, 최적화 문제를 푸는 것, 즉 오차함수의 최소를 해석적으로 구하기는 어렵기 때문에 반복 학습을 통해 파라미터(Parameter)를 갱신하는 접근법을 취한다. 오차함수의 도함수(derivative)를 구하고, 가중치를 갱신하여 기울기인 미분계수가 0이 되는 점을 순차적으로 탐색한다.
최급 하강법의 문제점은 모든 데이터를 한꺼번에 다루기 때문에 계산량이 많고 느리다는 것이다. 그 단점을 보완하기 위해 최급 하강법을 온라인 학습으로 개량한 것이 확률적 경사하강법이다. 온라인 학습이란 데이터가 들어올 때마다 그때그때 학습을 하는 방법이다.
◇ 확률적 경사 하강법의 개념
확률적 경사 하강법은 최급하강법의 일종으로 무작위로 선택한 하나의 데이터만으로 경사를 계산하여 파라미터를 갱신하고 데이터의 수만큼 반복한다. 확률적 경사 하강법의 장점은 국소(局所) 최소에 빠지기 어렵다. 그러나 확률적 경사 하강법에도 데이터 수가 많을 경우, 계산량이 방대해지는 문제점이 있다.
최급 하강법과 확률적 경사 하강법의 중간에 해당하는 것이 ‘미니 배치 경사 하강법(Mine-Batch Gradient Desent)’이다. ‘미니 배치 경사 하강법’에서는 몇 개에서 수백 개 정도로 구분한 데이터를 랜덤하게 선택하여, 경사 계산과 파라미터 갱신을 모든 데이터에 대해 반복한다. ‘미니 배치 경사 하강법’은 계산량이 적고 학습도 수렴하기 쉽기 때문에 일반적으로 자주 이용되고 있다. 선택할 데이터는 학습의 중요한 시기마다 뒤바뀐다. 이러한 맥락에서 일반적인 최급 하강법은 배치 경사 하강법이라고 불린다.
이규철 / 법학박사(상법)
∙ AI·GPT, SDGs&ESG 코치 및 강사
∙ 100세대학 크리에이터 및 칼럼니스트
∙ 생성AI와 챗GPT, SDGs·ESG경영전략,
글로벌 MBAtoCEO, 리더의 필승전략,
100세대학 행복디자인 매뉴얼 등 27권
∙ 일본(와세다대),중국(복단대·화동정법대)
){kind=small}
){kind=small}
){kind=small}
){kind=small}