인공지능(AI)이 작성한 과학 보고서가 근거를 정확히 옮겼는지 평가하는 연구 과제가 공개돼 있다. 실험 결과에서 결론을 과장했는지와 참고문헌이 실제 주장을 뒷받침하는지를 나눠 살피는 방식이다. 11월 3~5일 마카오 일정으로 안내된 자연어 처리·중국어 계산 국제회의(NLPCC 2026)의 공동평가 과제로, 매끄러운 문장 뒤의 증거를 따로 확인하는 연구 흐름을 보여 준다.
중국컴퓨터학회(CCF)의 행사 달력은 제15회 NLPCC의 개최지와 기간을 마카오, 11월 3~5일로 제시한다. 마카오대학이 운영하는 과학 보고서 신뢰성 공동평가 안내는 실험 결과에 대한 진술의 충실성과 외부 문헌에 대한 인용의 충실성을 두 평가 분야로 설정했다. 회의 일정과 공동평가의 접수 기간은 서로 다르다.
해당 과제의 공식 페이지에 따르면 참가 접수와 평가 제출은 이미 마감됐다. 최종 결과는 6월 30일 공개됐으며 자료와 도구, 평가 안내를 확인할 수 있다. 따라서 이번 주의 회의 소식을 새로운 참가 모집으로 읽을 수는 없다. 11월 회의 일정과 연결해 이미 공개된 연구 과제의 구조를 살펴보는 것이다.
첫 번째 분야는 실험 근거와 AI가 만든 주장 문장을 함께 제공한다. 평가 시스템은 각 문장이 근거의 범위 안에 있는지 판단한다. 문단 전체가 그럴듯하더라도 한두 문장이 실험에서 확인하지 않은 내용을 포함할 수 있다는 문제를 겨냥했다. 문장의 자연스러움과 증거의 충분함을 별도로 평가하는 설계다.
두 번째 분야는 하나의 과학적 주장과 인용된 논문의 구조화된 본문을 제공한다. 논문이 주장을 직접 지지하는지, 일부만 지지하는지, 주제가 비슷할 뿐 근거가 되지 않는지, 무관한지를 나눈다. 관련 근거가 있는 문단도 찾아 제시하도록 했다. 참고문헌이 존재하는지보다 어떤 관계로 연결됐는지를 묻는 방식이다.
이 차이는 연구 결과를 소개하는 기사에서도 중요하다. 한 재료가 제한된 실험 조건에서 좋은 성능을 보였다는 결과와 어떤 환경에서도 같은 성능을 낸다는 주장은 범위가 다르다. 원문에 조건이 붙어 있는데 요약 과정에서 빠지면 결론의 강도가 달라진다. 이는 실제 참가 자료의 문장을 옮긴 것이 아니라 보고 오류가 생기는 구조를 설명한 예다.
인용 오류 역시 가짜 논문에서만 생기지는 않는다. 실재하는 논문을 붙였더라도 해당 논문이 그 주장을 검증하지 않았다면 근거가 되지 않을 수 있다. 같은 기술을 다룬다는 이유로 효과와 안전성까지 입증된 것처럼 쓰면 관련성과 지지를 혼동하게 된다. 두 번째 평가가 논문과 주장 사이의 관계를 여러 단계로 나눈 이유다.
이 과제는 시험 자료를 처리하는 과정에서 인터넷 검색 등 외부 연결 도구를 사용하지 못하도록 안내한다. 모델 자체의 오프라인 판별 능력을 보려는 평가 조건이다. 이는 실제 연구와 보도에서 원자료 검색이 불필요하다는 주장이 아니다. 제공된 증거 안에서 어떤 판단을 할 수 있는지 측정하기 위한 제한이다.
평가 조건은 결과의 해석 범위를 결정한다. 시험 자료가 충분히 제공된 환경에서 좋은 점수를 얻었다고 자료 수집부터 검증까지 모두 자동화할 수 있는 것은 아니다. 실제 업무에서는 어떤 원문을 찾아야 하는지 정하고, 여러 자료 사이의 차이를 비교하는 과정도 필요하다. 제한된 과제의 성능과 전체 업무의 성능은 나누어 평가된다.
근거 문단을 찾게 한 설계는 사람의 후속 확인과도 연결된다. 시스템이 정답이라는 표시만 내면 사용자는 판단 이유를 다시 찾아야 한다. 관련 문단이 함께 제시되면 어떤 조건과 수치를 확인했는지 비교할 수 있다. 다만 근거 위치를 제시하는 기능도 잘못된 문단을 선택할 수 있어 결과를 그대로 승인하는 절차와는 구분된다.
연구기관과 출판 현장에는 이런 평가를 작은 작업 단위로 나누는 방식이 참고가 된다. 실험 수치와 문장 사이의 비교, 조건의 누락 여부, 인용의 지지 관계는 서로 다른 오류를 찾아낸다. 한 가지 점수로 글 전체를 평가하면 어떤 부분이 취약한지 드러나지 않을 수 있다. 오류 유형이 보일수록 수정 작업의 책임도 구체적으로 정할 수 있다.
공개 자료의 이용 조건 역시 평가 도구와 함께 확인할 부분이다. 페이지는 대회 기간 자료의 재배포와 재가공에 제한을 두고 대회 뒤 연구용 공개에 관한 안내를 제시한다. 자료가 인터넷에 있다는 사실만으로 모든 사용 권한이 생기는 것은 아니다. 실제 이용 시에는 해당 저장소와 자료의 현재 허용 조건이 기준이 된다.
이번 기사는 개별 참가 모델의 순위나 점수를 새 성과로 소개하지 않는다. 공식 안내에서 확인한 것은 평가 분야와 자료, 접수 종료와 결과 공개 시점이다. 어느 시스템이 현업에 가장 적합한지 판단하려면 자료 구성과 오류 유형, 실제 사용 조건을 더 살펴야 한다.
평가 자료의 정답 역시 어떤 근거를 기준으로 정했는지 설명될수록 활용 가치가 높아진다. 사람 사이에 해석이 갈리는 사례를 어떻게 처리했는지가 있어야 점수의 범위를 이해할 수 있다. 검증 도구를 만드는 연구에서도 판단 근거의 공개가 중요한 이유다.
NLPCC 공동평가는 AI 글쓰기의 품질을 표현 능력과 근거의 일치로 나눠 본 사례다. 과학 보고서의 신뢰는 참고문헌의 개수나 문장의 유창함만으로 만들어지지 않는다. 어떤 실험에서 어떤 조건으로 나온 결과를 어디까지 말할 수 있는지 추적할 수 있을 때 검증의 출발점이 마련된다.
[참고자료]
중국컴퓨터학회, NLPCC 2026의 마카오 개최지와 2026년 11월 3~5일 회의 일정.
마카오대학교 NLP2CT 연구실, NLPCC 2026 과학 보고서 신뢰성 공동평가의 두 분야·평가 조건·접수 종료·결과 공개 안내.
NLPCC任务分别检验科学陈述与引文
NLPCC 2026相关共享任务关注AI科学报告的可靠性，分别检查陈述与实验结果、引文与论文证据的关系。任务已结束报名，最终结果于6月30日公开，不能把11月3日至5日的会议日程理解为新的征集期。评测同时要求定位支持证据，并限制测试时联网。
[어휘풀이]
陈述 / chénshù / 진술
引文 / yǐnwén / 인용문
实验 / shíyàn / 실험
证据 / zhèngjù / 증거
可靠性 / kěkàoxìng / 신뢰성
报名 / bàomíng / 참가 신청
评测 / píngcè / 평가
定位 / dìngwèi / 위치를 찾다
){kind=small}
){kind=small}
){kind=small}
){kind=small}