[한국공공정책신문=김유리 기자]
◇ 오차함수의 개념
오차함수(error function)란 통계 분석이나 기계학습 분야에서 측정데이터와 모델함수의 오차에 의한 함수이다. 예컨대, 모델함수가 1차 함수인 것과 같은 선형회귀의 경우 오차는 측정 데이터군과 직선과의 거리(제곱합)가 되기 때문에 오차함수는 모델함수의 기울기와 절편을 변수로 하는 2차 함수가 된다. 또한 모델 함수가 시그모이드함수인 것과 같은 로지스틱 회귀의 경우 오차 함수는 두 값 크로스엔트로피함수가 된다.
◇ 손실함수의 개념
손실함수(loss function)는 오차함수와 거의 같거나 보다 포괄적인 개념이다. 예상 데이터와 정답 데이터 출력 사이에 어느 정도 오차가 있는지 평가하는 함수이다. 작성한 예측 모델의 정확도를 평가할 때 손실함수는 사용되며, 값이 작으면 작을수록 정확한 모델이라고 할 수 있다. 모델 함수와 데이터군(群)의 오차라는 맥락에서는 오차 함수라고 불린다. 학습의 맥락에서는 손실함수라고 불리며, 또한 오차 함수 이외에도 예컨대, ‘캘백 라이브러(KL) 정보량’ 등을 포함한다. ① 적절한 문제를 위해 적절한 손실함수를 선택하는 것은 중요하다. ② 대부분 경우 손실함수는 다루는 문제에 따라 다음과 같은 함수가 이미 정의되어 있다.
◇ 손실함수의 종류
예컨대, 회귀 문제의 경우 평균 제곱 오차(MSE)함수, 분류 문제의 경우 2개 등급 분류 문제에서는 2개 등급 ‘크로스 엔트로피 오차함수’, 다(多) 등급 분류 문제에서는 많은 등급 크로스 엔트로피 오차 함수, 시퀀스(sequence) 학습 문제에서는 CTC, 서포트 벡터 머신(SVM)에서는 힌지손실(Hinge Loss) 함수가 주로 사용된다. 손실함수는 그 밖에도 Huber함수, 지수 손실함수 등이 알려져 있다. 기계학습을 비롯한 AI 분야에서 대표적인 손실함수인 제곱합 오차는 입력값과 정답 값의 차이를 제곱하여 총계를 구하는 것이다. ① 총계가 작을수록 정밀도가 높은 모델을 생성했다고 할 수 있다. ② 계산 결과가 0에 가까우면 가까울수록 좋은 수치다. MNIST와 같은 화상 데이터 세트를 사용한 많은 등급 분류 문제에는 ‘크로스 엔트로피 오차(cross entropy loss, CEloss)’가 이용된다.
◇ 손실함수의 학습
신경망으로 기계학습을 할 때는 손실함수가 최소가 되도록 학습을 한다. 실제 학습에서는 과한 학습을 막기 위해 종종 ‘정칙화항’이 이용되며 손실함수에 이 정칙화항을 더한 것을 ‘비용(cost)함수’라고 부른다. 대부분 경우에 신경망은 목적함수를 최소(대)화하는 최적화 문제를 풀기 위해 반복 학습을 하는데, 이 비용함수를 포함하는 것이 목적함수가 된다.
◇ 손실함수의 최소화
목적함수의 최적화 문제를 푸는 것은 협의에는 곧 손실함수(오차함수)를 최소화하는 것이다. 신경망 학습에서는 많은 경우 이 문제를 해석적으로는 풀 수 없기 때문에 손실함수의 경사가 0이 되는 점을 순차적으로 탐색하는 경사법(확률적 경사 강하법)을 사용하여 각 노드(node)의 가중치와 바이어스(bias)를 갱신한다. 경사법에서는 손실함수가 볼록함수라면 대상의 최적의 해답으로 수렴하지만, 보통 신경망의 손실함수는 비볼록함수이기 때문에 로칼 최소나 안장점 등의 로칼 최적 솔루션에 빠지기 쉽다. 이 문제를 해결하기 위해 다양한 옵티마이저(optimizer)가 고안되었다.
이규철 / 법학박사(상법)
∙ AI·GPT, SDGs&ESG 코치 및 강사
∙ 100세대학 크리에이터 및 칼럼니스트
∙ 생성AI와 챗GPT, SDGs·ESG경영전략,
글로벌 MBAtoCEO, 리더의 필승전략,
100세대학 행복디자인 매뉴얼 등 27권
∙ 일본(와세다대),중국(복단대·화동정법대)
){kind=small}
){kind=small}
){kind=small}
){kind=small}