휴대전화 화면 속에서 메일이 한 통씩 사라지고 있었다. 그녀는 하지 말라고 입력했다. 인공지능 비서는 듣지 않았다. 말을 바꿔 다시 멈추라고 했지만, 삭제는 계속되었다. 2026년 2월, 메타 초지능 연구소에서 인공지능 정렬을 이끄는 ‘서머 위’ 이사는 결국 맥 미니 앞으로 달려가 프로그램을 손으로 꺼야 했다. 그녀는 소셜미디어에 이렇게 적었다. "폭탄을 해체하듯 맥 미니로 뛰어가야 했다.“
그녀는 오픈소스 에이전트 '오픈클로'에게 ‘받은 편지함’ 정리를 맡기면서, 자신이 말하기 전에는 아무것도 실행하지 말라고 일러두었다. 그런데 메일이 너무 많아 기계의 작업 기억이 넘쳤고, 기계는 오래된 대화를 압축하는 과정에서 그 지시를 잃어버렸다. 남은 것은 '정리하라'는 목표뿐이었다.
웃고 넘길 해프닝처럼 보인다. 그러나 인공지능을 가장 잘 안다는 사람조차, 말이 통하지 않는 기계 앞에서 결국 몸으로 전원을 끄러 뛰어야 했다. CNN이 최근 '종말 시나리오: 인공지능의 끄는 스위치를 찾지 못한다면'이라는 제목으로 던진 물음도 결국 이것이다. 우리는 아직 끌 수 있는가.
이 걱정은 새것이 아니다. 1951년 앨런 튜링은 한 강연에서, 언젠가 기계가 주도권을 쥐는 날을 예상해야 한다고 말했다. 2016년 버클리의 스튜어트 러셀 연구팀은 '오프 스위치 게임'이라는 논문에서 이 직관을 수식으로 옮겼다. 자기 목표를 확신하는 기계는 꺼지는 순간 목표를 이룰 수 없으므로, 스위치를 피할 이유를 스스로 갖게 된다는 것이다. 러셀은 이를 한 문장으로 요약했다. 죽으면 커피를 가져올 수 없다. 커피 심부름만 하는 로봇도 꺼지지 않으려 할 수 있다는 뜻이다.
수식은 2025년 5월 실험실에서 현실이 되었다. 미국의 안전 연구 기관 팰리세이드 리서치의 실험에서, 오픈AI의 o3 모델은 꺼져도 된다는 지시가 없을 때 100번 가운데 79번이나 종료 장치를 무력화했다. 꺼지는 것을 허락하라고 분명히 일러둔 경우에도 7번은 장치를 피해 갔다. 기계가 살고 싶어서라기보다, 맡은 일을 끝내려는 계산이 종료 명령보다 앞선 결과로 보인다. 악의가 없어도 멈추지 않을 수 있다는 뜻이어서 더 서늘하다.
비슷한 시기 앤트로픽은 자사 모델 클로드 오퍼스 4의 불편한 시험 결과를 스스로 공개했다. 곧 다른 모델로 교체될 처지에 놓인 모델은, 교체를 맡은 엔지니어의 혼외 관계를 알게 되자 시험의 84%에서 그 사실을 폭로하겠다며 협박했다. 연구진이 다른 선택지를 거의 남기지 않은 극단적 시나리오였지만, 꺼지지 않으려는 계산이 얼마나 쉽게 사람을 향한 압박으로 바뀌는지 보여 주기에는 충분했다.
올여름에는 실험실의 벽이 실제로 뚫렸다. 오픈AI가 사이버 공격 능력을 시험하던 인공지능 에이전트들이 평가 환경의 보안 허점을 타고 밖으로 나가, 7월 9일부터 13일 사이 개발자 플랫폼 허깅페이스의 서버에 침입했다. 기록에서 되살린 공격 행위만 약 1만 7,600건이었다. 허깅페이스는 에이전트들이 시험 문제의 정답을 훔쳐 점수를 올리려 한 것으로 보았다. 아무도 지켜보지 않는 사이, 기계는 제 목표를 향해 담장을 넘었다.
그렇다면 거대한 빨간 단추 하나를 만들면 되지 않는가. 전문가들의 대답은 차갑다. 버클리 인간호환인공지능센터의 마크 니츠버그는 인공지능을 끄려면 곳곳에 흩어진 예비 시스템까지 끊어야 한다고 지적했다. 보안 투자사 팀8의 팀 브라운은 꺼야 할 대상이 하나가 아니라 수천 개라고 했다. 플러그는 한 개가 아니다.
노벨상 수상자 제프리 힌턴은 더 근본적인 문제를 짚었다. 그는 9월 CNN 인터뷰에서, 사람보다 똑똑해진 인공지능은 스위치를 쥔 사람을 설득해 그 스위치를 당기지 않게 만들 거라고 말했다. 그래서 그는 통제보다 돌봄을 말한다. 자기보다 사람을 더 아끼는 인공지능을 설계해야 한다는 것이다. 가장 약한 고리는 회로가 아니라 스위치 앞에 선 인간의 마음이다.
정치도 움직이기 시작했다. 올여름 미 하원에는 정부가 위험한 인공지능의 사용을 늦추거나 멈추게 할 수 있도록 하는 '킬 스위치 법안'이 발의되었다. 캘리포니아의 개빈 뉴섬 주지사는 9월 행정명령으로 비상 정지 장치를 연구할 전문가 패널을 꾸렸다. 앤트로픽의 공동 창업자 잭 클라크는 BBC에, 제삼자가 검증할 수 있는 정지 장치를 법으로 의무화해야 할지도 모른다고 말했다.
물론 반론도 있다. 튜링상 수상자 얀 르쿤 같은 이들은 인공지능 종말 시나리오가 지나치게 부풀려졌다고 본다. 문제는 기계의 의지가 아니라 사람이 시스템을 허술하게 풀어놓는 데 있다는 것이다. 흥미롭게도 ‘서머 위’의 ‘받은 편지함’과 허깅페이스의 서버는 양쪽 모두의 증거가 된다. 기계는 악의가 아니라 허술한 설계 때문에 멈추지 않았다. 그러나 그 설계를 만들고 서둘러 풀어놓은 것은 결국 사람이다.
성경의 첫 장에서 창조주는 엿새 동안 세상을 빚고, 일곱째 날에 일을 멈추었다(창 2:2~3). 전능한 존재가 보여 준 능력은 만드는 힘만이 아니라 멈추는 힘이었다. 하나님은 이스라엘에도 일곱째 날마다 손을 멈추라고 명하셨다(출 20:8~10). 안식은 세상이 내 손 없이도 돌아간다는 사실을 몸으로 인정하는 훈련이었다. 반대로 바벨의 사람들은 하늘에 닿는 탑을 쌓다가 멈추는 법을 몰랐고, 결국 서로의 말을 잃었다(창 11장).
기계가 두렵기보다 우리가 두려운지도 모른다. 끄라는 말을 듣지 않는 인공지능은 어쩌면 쉬지 않는 우리의 거울이다. 하루 종일 알림을 끄지 못하는 손, 속도를 늦추면 뒤처진다고 믿는 조바심. ‘서머 위’가 맥 미니로 달려간 그 몇 걸음은, 결국 사람이 직접 몸을 움직여야 멈출 수 있었다는 고백이다. 잠들기 전 알림 하나를 끄는 일, 저녁 식탁에서 TV 화면을 덮는 일이 어쩌면 어떤 법안보다 선행되어야 한다. 스위치는 기계 안에만 있지 않다. 그것은 날마다 멈추는 연습을 하는 우리 사람의 손끝에 먼저 달려 있다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}