이 보고서는 GPTZero가 개발한 "Hallucination Check" 도구를 사용하여 NeurIPS (Conference on Neural Information Processing Systems) 학회에서 발표된 논문들에서 발견된 환각성 인용 (hallucinated citations) 문제에 대해 다룹니다. 이전에 ICLR 2026 심사 중인 논문에서 50개의 환각성 인용을 발견했던 GPTZero는, 더 큰 규모의 문제 파악을 위해 NeurIPS에 초점을 맞췄습니다.

보고서에 따르면, AI 생성 콘텐츠, 페이퍼 밀 (paper mill), 그리고 연구자들의 출판 압력으로 인해 학술 컨퍼런스 심사 파이프라인이 한계에 다다르고 있습니다. 2020년과 2025년 사이에 NeurIPS 제출 논문 수가 220% 이상 증가하여 9,467개에서 21,575개로 늘어났으며, 이로 인해 심사자 수가 급증하면서 감독 부족, 전문성 불일치, 과실, 심지어 사기와 같은 문제가 발생하고 있습니다.

GPTZero는 4841개의 NeurIPS 2025 accepted 논문을 스캔하여 수백 개의 환각성 인용을 추가로 발견했으며, 그 중 51개(일부 섹션에서는 53개로 명시)의 NeurIPS 논문에 걸쳐 100개의 확인된 환각성 인용 사례를 보고합니다. 이 논문들은 NeurIPS 2025의 24.52%라는 합격률을 뚫고 채택되었음에도 불구하고, NeurIPS의 LLM (Large Language Model) 정책에 따라 환각성 인용이 발견되면 논문 거부 또는 철회 사유가 될 수 있다는 점에서 심각한 문제로 지적됩니다.

핵심 방법론은 GPTZero의 "Hallucination Check" 도구를 활용하여 논문 내 인용 (Sources) 및 AI 생성 텍스트 (AI) 여부를 스캔하는 것입니다. 이 도구는 인용된 정보의 진위 여부를 다각적으로 검증합니다. 구체적인 검증 방식은 다음과 같습니다.

• 저자 및 제목 일치 여부 확인 (Author and Title Matching): 인용된 저자 이름과 논문 제목이 실제 존재하는 학술 출판물과 정확히 일치하는지 확인합니다. 예를 들어, "No author or title match" 또는 "Authors are obviously fabricated"와 같은 오류를 식별합니다.
• 출판 정보 유효성 검사 (Publication Information Validation): 인용된 저널, 학회, 권(volume), 호(issue), 페이지 번호 등이 실제 출판된 정보와 일치하는지 검증합니다. "Doesn't exist in publication" 또는 "No match in journal volume/issue" 등의 형태로 오류를 명시합니다.
• 고유 식별자 유효성 검사 (Identifier Validation): DOI (Digital Object Identifier) 또는 arXiv ID와 같은 고유 식별자가 유효한지, 그리고 해당 식별자가 인용된 논문 정보 (저자, 제목 등)와 일치하는지 확인합니다. "URL and DOI are fake," "arXiv ID links to a different article," 또는 "DOI is fabricated"와 같은 사례를 적발합니다.
• 세부 정보 불일치 확인 (Discrepancy Check): 저자 목록 일부 누락/조작, 출판 연도 불일치, 제목의 부분적 일치는 있으나 기타 정보 불일치("The authors match this paper, but the title, publisher, volume, issue, and page numbers are incorrect") 등 미묘한 형태의 환각을 찾아냅니다. 예를 들어, 저자 목록 중 일부만 일치하고 나머지는 조작된 경우("This paper is a match, but all authors but the first (K. A. Sankararaman) are fabricated")도 걸러냅니다.

이러한 포괄적인 검증을 통해, 단순히 인용 형식이 올바른지를 넘어, 인용된 내용 자체가 실제 존재하는 학술 자료와 일치하는지 심층적으로 분석하여 환각성 인용을 확인합니다. 보고서는 이러한 결과가 특정 학회나 심사자들을 비판하기 위함이 아니라, AI가 야기하는 새로운 도전에 대해 학술 심사 시스템이 직면한 "치명적인 취약점"을 조명하는 데 목적이 있다고 밝힙니다. 이는 기존 시스템이 이러한 종류의 위협에 대비해 설계되지 않았음을 시사하며, 학술 연구의 엄격함을 보호하기 위한 새로운 접근 방식의 필요성을 강조합니다.