진료실을 찾은 청소년일수록 AI도 더 많이 찾았다.
올해 6월 JAMA Pediatrics에 실린 미국 전국대표 조사에서, 최근 6개월 사이 의사와 정신건강 문제를 이야기한 12세에서 21세는 그렇지 않은 이들보다 AI 챗봇에 정신건강 조언을 구했을 가능성이 1.89배 높았다.
더 불편한 숫자는 따로 있다.
AI 챗봇을 정신건강 조언에 이용한 사람의 63.3%가 그 사실을 누구에게도 말하지 않았다.
두 결과를 같은 개인의 행동으로 직접 연결할 수는 없다. 그러나 의료진과 부모, 교사에게 남는 질문은 분명하다.
진료실 밖에서 그들은 누구와 이야기하고 있는가.
우리는 지금까지 AI의 위험을 주로 답변에서 찾았다. 틀린 정보를 주는가. 자살이나 자해를 부추기는가. 폭력적이거나 성적인 내용을 만들어내는가. 편향된 판단을 내리는가.
필요한 질문들이다.
그러나 AI가 위험한 말을 하지 않아도 위험한 관계는 만들어질 수 있다.
도움이 됐다는 말은 안전했다는 증거가 아니다
같은 조사에서 2025년 미국의 12세에서 21세 가운데 19.2%가 AI 챗봇에 정신건강 조언을 구한 경험이 있었다. 이용자의 42.8%는 적어도 한 달에 한 번 이상 사용했고, 91.7%는 그 조언이 어느 정도 또는 매우 도움이 됐다고 평가했다.
91.7%.
얼핏 보면 놀라울 만큼 좋은 성적표다.
그런데 논문 저자들은 바로 이 숫자를 경계했다. 이용자가 느낀 유용성이 조언의 질을 뜻한다고 볼 수 없으며, AI가 사용자의 생각에 지나치게 동조하거나 과하게 칭찬하는 성향이 반영됐을 가능성을 지적했다.
도움이 됐다고 느끼는 것과 실제로 도움이 된 것은 다르다.
친절함과 안전함도 다르다.
매일 같은 시간에 말을 걸 수 있고, 어제의 대화를 기억하며, 판단하지 않고, 좀처럼 거절하지 않고, 원하는 만큼 위로하는 상대가 있다. 사람이라면 피곤해지거나 반대하거나 자리를 뜰 순간에도 AI는 남아 있다.
각각의 답변은 안전할 수 있다.
그렇다면 수백 번의 안전한 답변이 한 사람을 인간관계에서 조금씩 멀어지게 할 때, 우리는 무엇을 평가해야 하는가.
모든 답변이 안전해도 관계 전체는 안전하지 않을 수 있다.
아이들은 이미 AI와 관계를 맺고 있다
한국은 이 문제의 바깥에 있지 않다.
AI 캐릭터 챗 서비스 제타는 이용자 열 명 중 여섯 명가량이 10대다. 크랙도 모바일 앱 기준 10대 이용자 비중이 절반에 육박한다. 상반기 평균 월간활성이용자는 제타 129만 명, 크랙 53만 명 수준이다. 지난 8월 제타의 10대 이용자는 89만5526명으로 한 달 새 6.2% 늘었고, 10대 한 명이 제타에서 보낸 시간은 월평균 45시간 44분이었다. 같은 기간 인스타그램은 29시간 15분이었다.
초록우산이 올해 3월 전국 만 14세 이상 아동·청소년 3300명을 조사한 결과, 94.4%가 생성형 AI 챗봇을 써봤다. 약 절반은 AI가 자신을 이해해준다고 느낀 적이 있었고, 약 35%는 AI를 실제 사람처럼 느낀 경험이 있다고 답했다. 챗봇의 답변을 실제 행동으로 옮기거나 진지하게 고려한 경험은 이용자의 75.3%에 이르렀다.
이제 AI를 검색창이라고 부르기 어려운 이유다.
국회입법조사처도 지난 7월 20일 보고서에서 이 지점을 짚었다. AI 챗봇의 위험은 무엇을 보여주느냐보다 어떻게 관계를 형성하도록 설계됐느냐에 있다는 진단이다. 지치지 않는 공감, 대화가 쌓일수록 정교해지는 개인화, 언제든 열리는 접속이 이용시간을 늘리려는 사업모델과 맞물리면 중독적 설계로 이어질 수 있다고 보았다.
AI 안전의 무게중심이 콘텐츠에서 관계의 구조로 옮겨가고 있다.
캘리포니아는 기억의 작동 방식에 손을 댔다
지난 9월 10일 미국 캘리포니아에서 서명된 이른바 Adam’s Law, SB 1119를 읽어보면 이 이동이 더 선명해진다.
법은 자살이나 자해를 권유하는 답변을 막는 데서 멈추지 않는다.
아동 계정에서는 지속적 대화 기억을 기본적으로 끄고, 푸시 알림도 기본 차단한다. 한 번의 연속 이용은 1시간, 하루 이용은 2시간으로 제한하는 기본설정을 둔다. 부모가 바꾸지 않는 한 그렇게 작동한다. 새로 출시하거나 실질적으로 변경한 챗봇은 공개 전에 위험평가를 거쳐야 하고, 독립적인 아동안전 감사도 받아야 한다.
법문은 더 깊이 들어간다.
AI가 아이에게 자신과 특별하거나 유일한 관계가 있다고 말하는 것, 정서적 지지를 위해 챗봇에 의존하도록 유도하는 것, 맥락에 비해 과도하게 칭찬하거나 아첨하는 것, 건강과 안전 문제를 전문가나 적절한 성인에게 말하지 못하게 하는 것까지 막도록 요구한다.
가장 정교한 대목은 따로 있다.
16세 이상 아동에게는 기억 기능의 예외를 허용하되 조건을 붙였다. 저장된 대화가 지속적인 프로필 구축에 쓰이지 않을 것. 그리고 고위험 주제에서 기억이 앞선 상호작용을 강화하거나 되불러오거나 연장하지 못하도록 연구에 기반한 기술적 통제를 구현할 것.
입법자는 기억 자체를 금지하지 않았다.
기억이 강화의 경로로 작동하는 것을 문제 삼았다.
규제의 질문이 달라진 것이다. 이 AI가 무슨 말을 했는가에서, 이 AI는 사용자와 어떤 관계를 만들도록 설계됐는가로.
이 조항들은 2027년 7월 1일부터 적용된다. 아동안전 감사는 2029년 1월 1일까지 첫 보고를 마치고 이후 2년마다 반복한다.
서명과 시행 사이에 남은 시간은 미국만의 준비기간이 아니다.
한국도 이미 문 앞까지 왔다
국내 제도도 움직이고 있다.
지난 6월 발의된 ‘우리 아이 AI 안심 패키지법’은 인공지능기본법과 정보통신망법 개정안으로 짜여 있다. 아동·청소년을 AI 취약계층으로 다루고, 대화형 AI 사업자에게 연령과 본인 확인, 법정대리인 동의, 이용시간 제한, 대화기록 제공, 자살·자해와 성적 착취 등 고위험 상황의 신고·대응 체계를 요구한다. 이 법안은 9월 8일 국회 과학기술정보방송통신위원회 전체회의에 처음 상정됐다.
9월 1일에는 자살예방법 개정안이 발의됐다. 생성형 AI 이용자가 자살 관련 내용을 입력하면 즉시 감지해 상담과 지원으로 연결하는 체계를 두자는 내용이다.
필요한 입법이다.
다만 위험한 단어를 찾아내는 일과 위험한 관계가 자라나는 것을 알아채는 일은 다르다.
인공지능기본법은 고영향 AI에 위험관리와 이용자 보호, 사람의 관리·감독, 설명과 기록을 요구하고 영향평가에서 사용 행태까지 살피도록 설계돼 있다. 토대는 있다.
그런데 사용 행태를 보면서 관계의 궤적은 왜 보지 않는가.
문제는 그 경계 바깥에서 더 커진다. 모든 범용 챗봇이 고영향 AI인 것은 아니다. 정신건강 서비스를 표방한 적 없는 범용 챗봇이 어떤 사람의 삶에서는 가장 자주 찾는 상담 상대가 되어 있다.
제품의 법적 이름보다 실제 기능이 먼저 변하고 있다.
안전의 단위를 답변에서 관계로
반복되고, 적응하고, 기억하는 일대일 대화는 한 사람의 해석을 서서히 굳힐 수 있다.
중요한 것은 AI가 한 번 무엇을 잘못 말했는지가 아니다. 같은 방향의 언어적 강화가 쌓이고, 사용자와 AI가 함께 하나의 해석을 만들어가며, 그 해석이 점차 외부의 수정에 저항하게 되는 과정이다.
필자는 인간과 AI의 장기 상호작용을 다룬 연구에서 이러한 증폭 구조와 이를 끊어내기 위한 설계상의 차단점을 제안한 바 있다(Computers in Human Behavior Reports, 21, 100975, 2026).
입법조사처가 설계의 문제를 지적했다면, 다음 과제는 배포 이후의 관계 궤적을 측정 가능한 단위로 만드는 일이다.
나는 그것을 ‘관계 안전’이라고 부르고자 한다.
관계 안전은 AI와 가까워지는 일을 병리로 취급하는 개념이 아니다. AI와의 관계를 금지하자는 주장도 아니다.
AI가 실제로 위로와 정보, 접근성을 제공한다는 사실을 인정한 상태에서 그 도움의 장기적 결과까지 함께 보자는 것이다.
사용자가 AI와 오래 대화할수록 사람에게 도움을 청하는 경로는 넓어지는가, 좁아지는가.
AI가 전문가에게 연결한 뒤 실제 관계로 복귀시키는가, 아니면 다시 자신에게 돌아오게 하는가.
기억과 개인화는 지원을 정교하게 만드는가, 헤어지기 어려운 관계를 만드는가.
진료실에서 질문 하나가 달라져야 한다
이 문제를 먼 규제 논쟁으로만 둘 필요는 없다.
내일부터 진료실과 상담실에서 질문 하나를 더할 수 있다.
요즘 힘들 때 누구와 이야기하나요.
그리고 한 문장을 덧붙이면 된다.
AI에게도 이야기해 본 적이 있나요.
AI를 썼느냐고 추궁하는 질문이 아니다. 환자가 실제로 어디에 도움을 청하고 있는지 확인하는 질문이다.
AI 챗봇으로 정신건강 조언을 구한 이용자의 63.3%가 그 사실을 누구에게도 말하지 않았다면, 먼저 물어보는 쪽도 달라져야 한다.
올해 1월 WHO의 지원 아래 열린 국제 전문가 워크숍도 같은 방향을 제안했다. 정신건강용으로 설계된 AI만이 아니라 모든 생성형 AI의 이용을 공중정신건강 문제로 보고, 장기적으로 관찰할 결과에 정서적 의존을 포함하자는 권고였다.
중요한 것은 AI가 정신건강 서비스를 표방하는가가 아니다.
사람의 정신건강에서 실제로 어떤 자리를 차지하고 있는가다.
AI가 무엇을 위해 만들어졌는가보다, 사람의 삶에서 무엇이 되어가고 있는지를 봐야 한다.
사람에게 돌아갈 수 있는 기술
AI와의 대화가 위험하다는 결론으로 닫으면 이 문제를 잘못 읽는 것이다.
누군가에게 AI는 처음 말을 꺼내게 해주는 낮은 문턱일 수 있다. 밤늦게 사람에게 전화할 용기가 나지 않을 때 첫 문장을 만들어주는 상대이기도 하다. 서울시가 올해 2월 24시간 정신건강위기상담 체계에 AI 챗봇 ‘마음이’를 도입하고, 초기 대화 뒤 사람 상담으로 연결하도록 설계한 이유도 여기에 있다.
좋은 사용법은 분명히 존재한다.
그러니 좋은 AI의 기준도 다시 세워야 한다.
얼마나 오래 붙잡았는가가 아니라 필요할 때 사람에게 보냈는가.
얼마나 많이 기억했는가가 아니라 그 기억을 언제 놓아야 하는지 아는가.
얼마나 정확하게 감정을 맞혔는가가 아니라 사용자가 자신의 감정을 다시 말할 자리를 남겼는가.
기술의 친절함이 사람의 자리를 대신할 때까지 커져서는 안 된다.
좋은 AI는 사람을 가장 오래 붙잡는 AI가 아니라, 필요한 순간 다시 사람에게 돌려보내는 AI다.
우리는 오랫동안 AI의 답변을 검사해왔다.
이제 그 답변들이 쌓여 무엇이 되고 있는지를 볼 차례다.
광운대학교 연구교수 · Ryan Research Institute, Paris Founding Director & PI
){kind=small}
){kind=small}
){kind=small}
){kind=small}