AI 거인과 집단지성의 공존 모색: 위키피디아, '새로운 사회적 계약'을 제안하다
인공지능(AI) 모델이 전 세계 지식의 보고인 위키피디아를 기반으로 빠르게 성장하면서 거대 기술 기업과 자발적 참여로 운영되는 집단지성 플랫폼 간의 새로운 관계 정립이 시급한 과제로 떠올랐다. 최근 한 연구는 AI가 위키피디아의 성장에 미치는 영향과 함께, 양측이 상생할 수 있는 '새로운 사회적 계약'의 필요성을 제기해 주목받고 있다.
지난 2001년 출범한 위키피디아는 누구나 정보를 편집하고 공유할 수 있는 개방형 백과사전으로 자리매김했다. 그러나 2022년 11월 챗GPT의 등장은 정보 소비의 패러다임을 바꿨다. 수많은 사용자가 빠르고 편리한 답변을 얻기 위해 AI 챗봇을 찾기 시작했으며, 이 답변의 근간에는 위키피디아가 축적한 방대한 데이터가 자리하고 있다.
AI의 그림자, 트래픽 잠식과 서버 과부하
킹스 칼리지 런던 연구진이 최근 발표한 연구 결과에 따르면, AI와 위키피디아의 공생 관계는 순탄치만은 않은 것으로 나타났다. 2021년 1월부터 2024년 1월까지 위키피디아의 주요 12개 언어 버전을 분석한 결과, 전체 페이지뷰는 연간 12%의 견조한 성장세를 보였다. 하지만 챗GPT가 상용화된 언어권에서는 성장률이 8%에 그쳐, AI의 편리함이 위키피디아의 잠재적 성장을 일부 잠식하고 있음이 시사되었다.
더 큰 문제는 AI 기업들의 무분별한 데이터 스크래핑(자동 정보 수집)이다. 한 연구 공동 저자는 "매월 페타바이트(PB) 규모의 데이터가 수집되는 전례 없는 상황"이라며, "이러한 행태가 제한 없이 계속될 경우 위키피디아는 자체 콘텐츠에 대한 통제력을 상실할 위험에 처할 수 있다"고 경고했다. 실제로 과도한 스크래핑은 위키피디아 서버에 심각한 과부하를 유발하며, 때로는 서비스 장애의 원인이 되기도 했다.
'새로운 사회적 계약'과 '위키데이터 임베딩 프로젝트'
이러한 문제를 해결하기 위해 연구진은 AI 기업과 위키피디아 간의 '새로운 사회적 계약'을 제안했다. 이는 AI 기업이 데이터 접근의 대가로 ▲스크래핑 강도 조절 ▲라이선스 비용 지불 ▲컴퓨팅 자원 기부 등을 통해 위키피디아의 인프라 유지에 기여하는 상호주의적 모델이다. 공공 지식 자산을 보호하면서 기술 혁신을 지속하자는 취지다.
이와 때를 같이하여 위키미디어 독일은 '위키데이터 임베딩 프로젝트'를 발표하며 구체적인 해법을 제시했다. 이 프로젝트는 수백만 개의 위키데이터 항목을 AI가 쉽게 처리할 수 있는 구조화된 데이터베이스로 가공하여 제공한다. 이를 통해 AI 개발자들은 무작위적인 웹 크롤링 대신 합법적이고 정제된 데이터 소스를 활용하게 되어 서버 부담을 줄일 수 있을 것으로 기대된다.
전문가 의견과 앞으로의 과제
기술 윤리학자인 린다 자오 교수는 "임베딩 프로젝트는 AI 기업들이 불투명한 방식으로 HTML을 긁어가는 대신, 검증된 데이터셋에 질의하게 함으로써 투명성을 높일 수 있다"며 긍정적으로 평가했다. 반면, 일부 위키피디아 편집자들 사이에서는 특정 기업이 후원하는 데이터가 우선적으로 포함되는 등 기업의 영향력이 과도하게 커질 수 있다는 우려의 목소리도 나온다.
실제로 데이터 분석에 따르면, 스크래핑이 최고조에 달했을 때 위키피디아의 대역폭 사용량은 평소보다 40% 급증했으며, 이로 인해 위키미디어 재단은 지난해에만 250만 달러의 추가 서버 비용을 지출했다. 연간 1,000억 달러 이상을 모델 훈련에 투자하는 AI 기업들이 호스팅 비용의 일부조차 분담하지 않는 것은 공정성 측면에서 재고의 여지가 있다는 지적이다.
지식이 모두의 자산이라면, AI가 그 기반이 되는 공유지에 무임승차하는 것이 아니라 인간 편집자와 기계 학습 모델이 상호 존중하는 파트너십을 구축해야 할 시점이다. 이 새로운 관계 설정의 성공 여부가 미래 AI가 인류의 공유 지성을 착취할 것인지, 아니면 함께 발전시켜 나갈 것인지를 결정하는 중요한 분수령이 될 전망이다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}