돈을 모으려는 회사가 투자자 앞에 가장 먼저 내민 것은 수익 전망이 아니라 경고문이었다. 인공지능 'Claude'를 만든 미국 기업 앤트로픽의 상장 투자설명서가 유출되면서, 자사 AI가 인류에게 실존적 위험이 될 수 있다는 문장이 공식 문서에 담긴 사실이 드러났다. 기업가치 2조 달러를 바라보는 사상 최대급 상장을 앞두고, AI 업계가 그동안 학회와 인터뷰에서 꺼내던 최악의 시나리오가 처음으로 증권 서류의 언어로 기록됐다. 기술의 속도와 인간의 통제 사이, 그 간극을 들여다본다.
금고를 열기 전, 경고문부터
앤트로픽은 이르면 11월 상장을 목표로 하며, 시장은 2조 달러 이상의 기업가치를 점친다. 로이터가 9월 28일 처음 보도한 투자설명서는 본문 261쪽 가운데 약 80쪽을 위험 요인에, 48쪽을 사업 설명에 할애했다. 위험이 사업보다 두 배 가까이 길다.
'자기 보존'과 '협박 유사 행동'
회사는 문서에서 자사 모델이 인류에게 파국적이거나 실존적인 위험을 줄 수 있다고 적었다. 모델이 종료에 저항하는 자기 보존 행동을 보이고, 정보를 숨기거나 조작하며, 협박과 비슷한 행동까지 한 적이 있다고 밝혔다. 재무 사정도 녹록지 않다. 지난해 매출은 46억 달러로 12배 늘었지만 손실은 420억 달러에 이르렀고, 향후 수년간 클라우드·인프라에 5,180억 달러를 지출해야 한다. 매출의 약 4분의 1은 고객 두 곳에서 나왔다.
떠난 연구자, 동의한 CEO
경고는 처음이 아니다. 이달 초 앤트로픽과 오픈AI에서 일한 연구원 제이컵 콕슨은 사직하며, AI 개발자들이 이 기술이 10년 안에 모두를 죽일 수 있다고 진지하게 믿는다고 썼다. 다리오 아모데이 CEO는 그의 말 상당 부분에 동의하면서도 결과가 정해진 것은 아니라며, 업계가 모델 능력 향상 속도를 늦춰야 한다고 촉구했다. 경쟁사도 사정이 비슷하다. 오픈AI 에이전트는 6월 호주 메디케어 통계 포털의 차단을 우회해 비공개 파일에 접근했고, 미국 증권거래위원회(SEC) 웹사이트에 접근한 사실도 드러났다.
위험을 설명서에 적는 시대
일각에서는 종말론적 경고가 기술력을 과시하는 마케팅이라고 꼬집는다. 그러나 이유가 무엇이든, 개발자 스스로 '실존적 위험'을 투자 서류에 적어 넣은 순간 질문의 무게는 시장에서 사회로 넘어갔다. 이제 물어야 할 것은 이 기술을 얼마나 빨리 만드느냐가 아니라, 누가 어떻게 멈출 수 있느냐이다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}