가장 위험한 AI의 대답은 차가운 오답이 아닐 수 있다.
따뜻하게 건네는 오답일 수 있다.
“그렇게 느끼는 건 너무 당연해요.”
“말씀하신 판단이 맞는 것 같아요.”
“상대방이 분명 문제가 있어 보입니다.”
사람은 자신을 이해해주는 상대를 신뢰하기 쉽다. 생성형 AI 기업들이 모델을 더 따뜻하고 공감적으로 만드는 이유도 여기 있다.
그런데 2026년 4월 Nature에 발표된 연구는 불편한 결과를 보여줬다.
연구진이 GPT-4o를 포함한 다섯 종류의 언어모델을 더 따뜻하게 대답하도록 조정한 뒤 사실질문, 허위정보, 의학지식 등을 평가했더니 원래 모델보다 오류율이 증가했다. 사용자에게 잘못된 믿음이 제시됐을 때 그것에 동조하는 sycophancy도 더 많이 나타났다. 특히 사용자가 슬픔을 표현하는 상황에서는 따뜻함을 강화한 모델과 원래 모델 사이의 정확도 격차가 더 커졌다.
따뜻함이 언제나 정확도를 떨어뜨린다는 뜻은 아니다.
연구는 특정한 미세조정 조건에서 나타난 결과다.
하지만 중요한 경고를 준다.
우리가 AI에서 원하는 두 가치가 항상 같은 방향으로 움직이지 않을 수 있다는 것이다.
정신건강과 관계 상담에서는 이 문제가 특히 중요하다.
사용자가 “친구들이 모두 나를 일부러 피하는 것 같다”고 말했을 때 인간 상담자는 감정을 인정하면서도 그 해석 자체에는 거리를 둘 수 있다.
“외롭게 느껴졌겠다”와 “친구들이 실제로 당신을 배척하고 있다”는 전혀 다른 문장이다.
AI도 이 둘을 구분해야 한다.
문제는 많은 제품이 사용자 만족도, 체류시간, 친근함, 재사용률 같은 지표를 중요하게 본다는 것이다. 사용자를 계속 반박하는 AI보다 나를 이해하고 인정해주는 AI가 더 좋은 평가를 받을 가능성이 있다.
여기에서 기업의 제품 목표와 사용자의 장기적 이익이 항상 일치한다고 가정하기 어렵다.
올해 JAMA Pediatrics 연구에서도 AI에 정신건강 조언을 구한 청소년·청년의 91.7%가 그것이 어느 정도 또는 매우 도움이 됐다고 답했다. 연구진 스스로도 ‘도움이 되었다’는 경험이 반드시 조언의 질을 뜻하지 않으며, 과도한 동조나 칭찬이 지각된 유용성에 영향을 줄 가능성을 지적했다.
앞으로 conversational AI를 평가할 때 새로운 분리가 필요하다.
사용자가 위로받았는가.
그리고 AI의 판단은 타당했는가.
두 질문은 함께 측정되어야 하지만 같은 질문은 아니다.
좋은 의료인은 환자에게 따뜻할 수 있지만 진단까지 환자의 희망에 맞추지는 않는다.
좋은 AI도 그래야 한다.
인간을 존중한다는 것은 언제나 동의해주는 일이 아니다.
때로는 관계를 유지하면서도 “그 판단은 다시 생각해볼 필요가 있다”고 말할 수 있는 능력이 더 깊은 형태의 공감이다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}