AI 규제, 자율과 안전의 접점을 찾다
2026년 1월 22일, 싱가포르 정보통신미디어개발청(IMDA)은 스위스 다보스에서 열린 세계경제포럼(WEF)에서 세계 최초로 '에이전트 AI(Agentic AI)를 위한 모델 AI 거버넌스 프레임워크'를 발표했다. 이 프레임워크는 스스로 추론하고 계획하며 사용자를 대신해 작업을 수행할 수 있는 자율적 AI 시스템에 대한 포괄적인 거버�거스 지침으로, 발표 이후 3개월이 지난 현재까지 글로벌 AI 규제 논의에 중요한 참고 사례로 평가받고 있다. 에이전트 AI는 단순히 데이터를 분석하고 예측하는 기존의 AI 및 생성형 AI와는 근본적으로 다른 특성을 지닌다.
이 시스템은 사용자의 지시를 받은 후 자율적으로 작업을 계획하고, 외부 시스템과 상호작용하며, 최종적으로 실행까지 완료할 수 있는 능력을 갖추고 있다. 이러한 자율성은 인간의 반복적이고 부담스러운 작업을 대신 처리함으로써 생산성을 극대화한다는 점에서 혁신적이지만, 동시에 전례 없는 위험 요소를 내포하고 있다.
IMDA가 발표한 프레임워크는 에이전트 AI가 초래할 수 있는 다양한 위험에 대응하기 위해 마련되었다. 에이전트 AI는 고객 서비스, 데이터 처리, 결제 관리와 같은 분야에서 반복 작업을 자동화하여 기업의 효율성을 크게 향상시킬 수 있다. 예를 들어, 금융 산업에서는 고객 문의 응대, 계좌 정보 업데이트, 거래 승인 등의 프로세스를 에이전트 AI가 담당할 수 있다.
의료 분야에서는 환자 데이터 관리, 진료 예약 조정, 처방전 발급 지원 등에 활용될 수 있다.
광고
하지만 이러한 시스템이 민감한 고객 데이터에 접근하고, 데이터베이스를 업데이트하며, 결제를 실행하는 등 환경을 직접 변경할 수 있는 능력을 보유하고 있기 때문에, 무단 행동이나 오류로 인한 심각한 문제가 발생할 가능성도 함께 증가한다. 에이전트 AI의 증가된 기능과 자율성은 특히 인간의 책임 소재를 불분명하게 만드는 문제를 야기한다. AI 시스템이 자율적으로 내린 결정으로 인해 경제적 손실이나 개인정보 유출이 발생했을 때, 그 책임을 AI 개발자, 배포 기업, 최종 사용자 중 누구에게 물어야 하는가?
이는 현재 AI 거버넌스 논의에서 가장 핵심적인 화두로 떠오른 질문이다. 또한 자동화 편향이나 시스템에 대한 과도한 신뢰 문제도 간과할 수 없다. 사용자가 AI 시스템의 판단을 맹목적으로 따르거나, 시스템 오류를 조기에 발견하지 못하는 상황이 발생할 수 있기 때문이다.
싱가포르 정부는 이러한 문제의식을 바탕으로 인간의 감독과 궁극적인 책임을 명확히 하는 프레임워크를 구축했다. 프레임워크의 핵심은 네 가지 주요 차원의 지침으로 구성되어 있다. 첫째, 위험 평가 및 경계 설정이다.
조직은 에이전트 AI를 배포하기 전에 포괄적인 위험 평가를 수행하고, AI 시스템이 작동할 수 있는 명확한 경계와 제약 조건을 설정해야 한다. 이는 시스템이 허용된 범위를 벗어나 예상치 못한 행동을 하는 것을 방지하기 위한 사전 조치다.
둘째, 의미 있는 인간의 책임을 보장하는 것이다. AI 시스템의 자율성이 높아질수록 인간의 감독과 개입 메커니즘이 더욱 중요해진다.
광고
프레임워크는 중요한 의사결정 지점에서 반드시 인간의 검토와 승인을 거치도록 요구하며, 최종 책임은 항상 인간에게 있음을 강조한다. 셋째, 기술적 통제의 구현이다. 조직은 AI 시스템의 행동을 모니터링하고 제어할 수 있는 기술적 안전장치를 마련해야 한다.
이는 실시간 감시 시스템, 비상 정지 메커니즘, 행동 로그 기록 등을 포함한다. 넷째, 최종 사용자의 책임을 촉진하는 것이다. 에이전트 AI를 사용하는 개인이나 조직 역시 시스템의 적절한 사용과 잠재적 위험에 대한 이해를 갖추어야 한다는 점을 명시한다.
한국 기업에 미칠 영향과 대비책
이 프레임워크는 법적 구속력을 갖춘 강제 규제가 아니라 자발적 준수를 기반으로 하는 지침이라는 점에서 주목할 만하다. IMDA는 과도한 규제가 혁신을 저해할 수 있다는 우려를 반영하여, 기업들이 자율적으로 책임감 있는 AI 배포를 실천하도록 유도하는 접근 방식을 선택했다. 이러한 방식은 특히 스타트업이나 중소기업에게 유리하다.
대기업에 비해 자본과 기술적 자원이 제한된 이들 기업은 까다로운 규제 준수에 상당한 어려움을 겪을 수 있기 때문이다. 자발적 프레임워크는 기업의 부담을 최소화하면서도, 산업 전반에 걸쳐 윤리적 AI 사용 문화를 점진적으로 확산시킬 수 있다는 장점이 있다. 프레임워크의 실효성을 높이기 위해 싱가포르는 AI Verify라는 실용적 도구를 함께 제공하고 있다.
AI Verify는 기업들이 자사의 에이전트 AI 시스템을 평가하고, 거버넌스 원칙을 실제로 준수하는지 검증할 수 있도록 돕는 기술 기반 플랫폼이다.
광고
이 도구는 AI 시스템의 투명성, 공정성, 책임성을 다각도로 평가하며, 잠재적 편향이나 오류를 사전에 탐지하는 기능을 제공한다. 기업들은 AI Verify를 활용하여 시스템의 의사결정 과정을 추적하고, 예상치 못한 행동 패턴을 조기에 발견할 수 있다. 또한 평가 결과를 바탕으로 시스템 개선 방향을 설정하고, 이해관계자들에게 AI 시스템의 안전성과 신뢰성을 입증하는 데 활용할 수 있다.
AI Verify는 단순한 가이드라인을 넘어, 기업들이 실질적으로 책임 있는 AI 거버넌스를 실천할 수 있도록 하는 강력한 인프라를 제공한다는 점에서 글로벌 AI 윤리 규범 확립에 선도적 역할을 할 것으로 기대된다. 싱가포르가 이처럼 선제적으로 에이전트 AI 거버넌스 프레임워크를 발표한 배경에는 글로벌 AI 규제 논의를 주도하려는 전략적 의도가 담겨 있다.
유럽연합(EU)은 AI Act를 통해 위험 기반 규제 체계를 구축했고, 미국은 행정명령을 통해 AI 안전 기준을 마련했다. 하지만 에이전트 AI와 같은 고도로 자율적인 시스템에 특화된 포괄적 거버넌스 지침은 싱가포르가 세계 최초로 제시한 것이다.
이는 특히 아시아태평양 지역 국가들에게 중요한 참고 모델이 될 것으로 전망된다. 싱가포르는 이번 프레임워크를 통해 혁신을 촉진하면서도 안전장치를 확보하는 균형 잡힌 접근 방식을 국제 사회에 제시했다.
광고
한국의 경우, AI 기술 개발에서 세계적인 경쟁력을 보유하고 있으며, 삼성전자, LG, 네이버, 카카오 등 주요 기업들이 AI 분야에 대규모 투자를 진행하고 있다. 하지만 에이전트 AI와 같은 고도화된 자율 시스템에 대한 구체적인 가이드라인은 아직 초기 단계에 머물러 있다.
한국 정부는 2024년부터 AI 기본법 제정을 추진해왔으나, 에이전트 AI의 특수성을 충분히 반영한 세부 규정은 아직 마련되지 않은 상황이다. 싱가포르의 사례는 한국이 자체적인 AI 거버넌스 체계를 개발하는 데 유용한 벤치마크가 될 수 있다. 특히 자발적 준수를 기반으로 하면서도 실효성 있는 평가 도구를 제공하는 방식은, 기업의 혁신 동력을 유지하면서도 사회적 신뢰를 구축할 수 있는 균형점을 찾는 데 중요한 시사점을 제공한다.
에이전트 AI, 혁신과 도전의 공존
에이전트 AI가 가져올 혁신의 잠재력은 실로 무궁무진하다. 의료 분야에서는 환자별 맞춤 치료 계획 수립과 관리, 금융 분야에서는 개인화된 자산 관리와 위험 평가, 교육 분야에서는 학습자 수준에 맞춘 교육 콘텐츠 제공과 진도 관리 등 다양한 영역에서 인간의 능력을 증강시킬 수 있다.
제조업에서는 생산 공정 최적화와 품질 관리, 물류 산업에서는 배송 경로 최적화와 재고 관리 자동화 등 운영 효율성을 획기적으로 개선할 수 있다. 하지만 이러한 기술적 가능성만큼이나 위험 또한 크다는 점을 간과해서는 안 된다.
에이전트 AI 시스템이 악의적으로 조작되거나, 예상치 못한 방식으로 오작동할 경우, 그 파급 효과는 개인을 넘어 사회 전체에 심각한 영향을 미칠 수 있다.
광고
싱가포르가 제시한 프레임워크가 향후 글로벌 표준으로 자리 잡을 수 있을지는 지켜볼 필요가 있다. 발표 이후 3개월 동안 국제 AI 거버넌스 커뮤니티에서는 이 프레임워크에 대한 긍정적 평가와 함께, 실제 적용 과정에서의 도전 과제에 대한 논의가 활발히 이루어지고 있다.
일부 전문가들은 자발적 프레임워크의 실효성에 의문을 제기하며, 보다 강력한 법적 구속력이 필요하다고 주장한다. 반면 다른 전문가들은 AI 기술의 빠른 발전 속도를 고려할 때, 유연한 자발적 접근 방식이 더 적합하다고 평가한다.
어느 쪽이든, 싱가포르의 시도는 에이전트 AI 시대를 맞아 인류가 기술과 윤리의 균형을 어떻게 맞춰갈 것인지에 대한 중요한 실험이 되고 있다. 이 과정에서 발생하는 모든 논의와 시행착오는 궁극적으로 인간과 AI가 보다 안전하고 조화롭게 공존하는 사회를 만드는 데 중요한 밑거름이 될 것이다.
AI의 자율성이 높아질수록 인간의 책임과 감독은 더욱 중요해진다. 기술 발전이 가속화되는 시대에, 윤리적 기준과 거버넌스 체계의 수립은 선택이 아닌 필수가 되었다. 한국을 포함한 기술 선도 국가들은 싱가포르의 사례를 면밀히 분석하고, 각국의 산업 구조와 사회적 맥락에 맞는 AI 거버넌스 체계를 조속히 마련해야 할 시점에 와 있다.
에이전트 AI 시대는 이미 시작되었으며, 우리가 어떤 준비를 하느냐에 따라 그것이 기회가 될지 위협이 될지가 결정될 것이다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}