[한국공공정책신문=김유리 기자]
◇ 의사결정 나무의 개념
의사결정나무(木)ㆍ랜덤포레스트(Decision Tree/Random Forest)에서 의사결정나무(의사결정 학습)란 데이터에서 ‘나무’ 구조의 예측 모델을 만드는 기계학습의 교사 있는 학습 방법이다. 잎이 분류를 나타내고 가지가 그 분류에 이르기까지의 특징의 모임을 나타낸다. 판별하는 ‘회귀나무’와 분류를 하는 ‘분류나무’의 2종류가 있다.
*주) 분류나무란 예측하고자 하는 대상이 질적 변수인 경우에 이용되는 의사결정 나무 분석을 말한다. 한편 회귀나무란 예측하고자 하는 대상이 양적 변수인 경우 이용되는 의사결정나무 분석을 말한다.
의사결정나무의 유용성은 해석 대상 데이터의 분포를 가정하지 않는 비파라메트릭(non-parametric)기법이라는 것이다. 설명변수, 목적변수 모두 명의 척도에서 간격 척도까지 사용할 수 있으며, 이상값에 대해서도 견고하다. 한편, 다른 기계학습의 수법에 비해 분류 정밀도는 낮고, 또 선형 데이터에는 그다지 적합하지 않다. 과학습(over-fit)을 일으키기 쉽고, 나무 구조가 너무 복잡해지지 않도록 나무의 깊이를 제한하거나, 나무구조를 생성한 후 가지를 가지치기 하는 등 몇 가지 매개변수의 조정도 필요하다.
*주) 비파라메트릭(non-parametric)기법이란 ‘주어진 모집단에 대해 어떠한 분포를 따르고 있는 전제가 없다’고 할 때 사용하는 기법이다. 더 엄격하게 말하자면, ‘주어진 모집단에 대해 어떠한 가정도 하지 않고 수행되는 기법’이다
*주) 과학습(Over fitting)이란 통계, 기계학습에서 데이터의 경향에 따르도록 모델을 학습시킨 결과, 학습 시의 데이터에 대해서는 좋은 정밀도를 내지만, 미지 데이터에 대해서는 같은 정밀도를 낼 수 없는 모델이 구축되어 버린다. 과학습이 되면 모델을 실제 운용하는 것이 어려워져 버린다.
◇ 랜덤 포레스트의 개념
랜덤 포레스트(Random Forest)는 여러 의사결정나무를 조합하여 범화 능력을 높인 견고하고 실용적인 알고리즘이다. 앙상블 학습 배경의 일종으로 2001년에 개발된 비교적 새로운 기법이다. 학습 절차로는 먼저 학습용 데이터에서 ‘부트스트랩’ 표본을 여러 번 추출한다. 부트스트랩이란 복원 추출을 통해 서브 데이터를 작성하는 방법이다. 각각의 데이터 집합에 대해 랜덤하게 선택한 몇 개의 설명 변수를 이용해 여러 개의 결정목이 만들어진다(나무 구조가 여러 개 있기 때문에 포레스트 ‘Forest : 숲’ 이라고 부른다). 각 의사결정 나무에서 분류 문제에서는 다수결, 회귀문제에서는 평균값으로 결과를 각각 통합하여 학습기를 구축한다.
◇ 랜덤 포레스트의 장점
랜덤 포레스트는 일반적인 회귀모델과 달리 설명변수 선택에 제약이 적기 때문에 과학습을 피하기 쉬운 장점이 있다. 또, 다수의 설명 변수에 대해서도 견고하고 학습ㆍ평가가 고속이다.
그리고 교차검증에 의해 얻어진 추정 오차로부터 설명 변수 즉 특징량의 중요도(기여도)를 산출할 수 있다. 예측값이 아닌 변수 중요도에서 설명변수가 피설명변수에 대해 어느 정도 영향을 미치는지 탐색할 수 있다. 랜덤 포레스트는 고정밀이기 때문에 같은 앙상블 학습을 이용한 고성능의 경사 부스팅 머신이 등장할 때까지의 2010년대 전반에 자주 이용되었다. 의사결정나무 및 랜덤포레스트를 이용한 데이터 마이닝은 데이터 구조를 나무구조로 가시화하여 직관적으로 해석하기 쉽기 때문에 매우 유용하다. 그 범용성의 높이로부터 고객 세그먼테이션(segmentation)이나 불량품율 예측 등의 다양한 비즈니스 고객세분화, 소비 동향ㆍ고용 동향 등 공적 조사에도 이용되고 있다.
이규철 / 법학박사(상법)
∙ AI·GPT, SDGs&ESG 코치 및 강사
∙ 100세대학 크리에이터 및 칼럼니스트
∙ 생성AI와 챗GPT, SDGs·ESG경영전략,
글로벌 MBAtoCEO, 리더의 필승전략,
100세대학 행복디자인 매뉴얼 등 27권
∙ 일본(와세다대),중국(복단대·화동정법대)
){kind=small}
){kind=small}
){kind=small}
){kind=small}