[한국공공정책신문=김유리 기자]
◇ 활성화 함수의 개념
활성화 함수(activation function)란 신경망에서 노드(인공뉴런)의 선형 변환 후 적용하는 비선형 변환을 수행하는 함수이다. 자주 이용되는 활성화 함수 종류에는 ① 스텝함수, ② 항등함수, ③ 시그모이드함수(sigmoid function), ④ 램프함수, ⑤ 소프트맥스함수 등 그 밖에도 다항식, 절대값, 웨이블릿, maxout 등이 있다.
◇ 활성화 함수의 변천
신경망의 전달은 신경세포의 ‘시냅스 전달’을 모델링한 것이다. 중간층 노드는 하나 이상의 입력층에서 출력을 받는다. 가중치가 부여된 총합과 바이어스 항의 합이 새로운 입력이 되어 활성화 함수에 전달되어 그 출력을 다음 층으로 전달한다. 활성화 함수의 변천은 신경망의 진화와 병행하고 있다.
퍼셉트론이 등장했을 무렵인 1950년대에는 활성화 함수로서 스텝 함수가 많이 사용되었다. 그 후 1986년 오차역전파(백프로퍼게이션)법의 등장 이후에는 시그모이드 함수가 가장 보편화되었다. 시그모이드 함수와 비슷한 형태로, 범위가 다른 쌍곡선(하이퍼볼릭) tanh함수도 자주 사용되었다.
◇ ReLU의 파생
일반적으로 딥러닝이라고 불리는 현재의 다층(심층) 신경망에서는 ReLU(정규화 선형함수) 등의 램프 함수가 자주 사용되고 있다. ReLU에는 다음과 같은 많은 파생이 있다. ① Leaky ReLU(LReLU), ② Parametric ReLU(PReLU), ③ ERU 등이 알려져 있다.
예컨대, 중간층에서 자주 이용되는 ReLU나 시그모이드 함수는 음의 입력을 0 또는 0에 가까운 출력으로 변환한다. 그리고 입력에 비례하여 출력을 높인다. 이는 모든 노드가 학습에 기여하는 것은 아니며 활성화 함수에 의해 학습에 기여가 높은 노드가 선택된다는 것을 시사한다. 또한 ‘소프트맥스 함수’는 비정규화 항을 확률 분포로 정규화하기 때문에 ‘다등급 분류’ 문제 등의 출력층에서 자주 이용된다.
*주) 소프트맥스 함수(softmax function)나 정규화 지수 함수(normalized exponential function)는 시그모이드 함수를 다차원으로 확장한 함수이다. 다급 분류 문제에서, 신경망의 출력을 확률 분포로 변환할 수 있기 때문에 마지막 활성화 함수로써 자주 이용된다.
*주) 다등급 분류(Multiclass classification)이란 다수의 클래스를 분류하는 기법이다. 주요 방법으로는 세 가지를 들 수 있으며 One-vs-Rest, One-vs-One, 다클래스 소프트맥스로 되어 있다.
◇ 초기 활성화 함수의 단점
초기 활성화 함수인 시그모이드 함수나 쌍곡선 함수에는 단점이 있었다. 입력이 커지면 출력이 1에 가까워지기 때문에 기울기가 0에 가까워지면서 최적값을 찾지 않게 되는 이른바 기울기 소실 문제가 발생한 것이다. ReLU 등 램프함수를 이용함으로써 반드시 상수항이 남아 ‘경사’가 유지되어 학습이 잘 수렴하게 되었다. 이러한 활성화 함수의 개선으로 인한 ‘경사’ 소실 문제의 해결이 딥러닝 발전의 한 요인이 되었다.
*주) 경사(gradient, grade)란 수평면에 대한 기울기의 정도를 말한다.
이규철 / 법학박사(상법)
∙ AI·GPT, SDGs&ESG 코치 및 강사
∙ 100세대학 크리에이터 및 칼럼니스트
∙ 생성AI와 챗GPT, SDGs·ESG경영전략,
글로벌 MBAtoCEO, 리더의 필승전략,
100세대학 행복디자인 매뉴얼 등 27권
∙ 일본(와세다대),중국(복단대·화동정법대)
){kind=small}
){kind=small}
){kind=small}
){kind=small}