세계 최고의 인공지능 학술 대회인 NeurIPS에서 발표된 논문들 중 일부에서 가짜 인용 정보가 발견되어 큰 충격을 주고 있어요. AI 전문가들이 직접 쓴 글에서도 NeurIPS 환각 현상이 나타난 것인데, 이는 도구의 편리함 뒤에 숨은 위험성을 잘 보여주는 사례예요. 과연 어떤 경위로 이런 일이 벌어졌는지 지금부터 자세히 살펴볼게요.
NeurIPS 환각 현상 발견된 배경과 GPTZero 분석 결과
최근 GPTZero라는 AI 탐지 스타트업이 지난달 샌디에이고에서 열린 NeurIPS 학술 대회에 통과된 논문 4,841개를 전수 조사했어요. 그 결과 51개의 논문에서 총 100건의 가짜 인용 문구가 확인되었다고 하더라고요. 사실 이 학회에 논문이 채택된다는 건 AI 연구자에게는 엄청난 명예이자 경력의 정점이라서 다들 완벽을 기했을 텐데 이런 결과가 나와서 업계가 술렁이고 있어요.
물론 전체 논문 수와 수만 개의 인용 목록을 고려하면 1.1%라는 수치는 통계적으로 아주 미미한 수준일 수도 있어요. 하지만 인용 정보는 연구자의 영향력을 평가하는 화폐와 같은 역할을 하기 때문에 가짜 데이터가 섞이는 건 가볍게 넘길 일이 아니에요. 논문 자체의 연구 성과가 부정되는 건 아니지만 학계의 신뢰도에는 분명히 흠집이 생길 수밖에 없는 상황인 거죠.
왜 AI 전문가조차 가짜 인용 문구를 걸러내지 못했을까?
최고의 전문가들이 왜 이런 실수를 했을까 의문이 드실 거예요. 가장 큰 이유는 논문 작성 과정에서 반복적이고 지루한 작업인 인용 목록 정리를 AI에게 전적으로 맡겼기 때문이에요.
- 방대한 참고 문헌 정리의 피로감
- LLM이 생성한 텍스트의 자연스러움에 대한 과신
- 촉박한 논문 제출 기한과 검토 시간 부족
연구자들은 본인이 사용한 논문을 정확히 알고 있음에도 불구하고 AI가 만들어준 리스트를 하나하나 대조해 보지 않은 거예요. AI는 그럴듯한 제목과 저자 이름을 만들어내는 데 아주 능숙하거든요. 전문가들조차 자신이 아는 분야의 정보라면 설마 틀렸을까 하는 심리적 맹점에 빠졌던 거죠.
논문 신뢰성을 떨어뜨리는 가짜 인용을 확인하는 방법
내가 쓴 글이나 참고하려는 자료에 환각 현상이 있는지 확인하려면 몇 가지 단계를 거치는 게 좋아요. 단순히 AI의 답변을 복사해서 붙여넣기보다는 검증하는 습관이 중요하더라고요.
- 논문 제목을 구글 스칼라나 DB피아 같은 학술 데이터베이스에 직접 검색하기
- 해당 저자가 실제로 그 주제로 논문을 쓴 적이 있는지 프로필 확인하기
- 생성형 AI에게 인용구의 URL을 직접 요청하고 링크가 깨졌는지 체크하기
이런 방식은 시간이 조금 걸리긴 하지만 연구의 전문성을 지키기 위해서는 필수적인 과정이에요. 특히 최근에는 인용구가 실존하는 학술지 형식과 너무 비슷하게 생성되어서 눈으로만 봐서는 구분하기가 거의 불가능할 때가 많거든요.
NeurIPS 환각 현상이 학계에 미치는 실질적인 영향
이번 사건은 단순히 해프닝으로 끝나지 않고 학계 전반에 큰 경종을 울리고 있어요. 동료 평가라고 불리는 피어 리뷰 시스템이 이미 한계에 도달했다는 분석도 나오고 있거든요. 매년 쏟아지는 엄청난 양의 논문을 검토해야 하는 리뷰어들이 일일이 인용구의 진위까지 파악하기는 현실적으로 어렵기 때문이에요.
실제로 2025년에 발표된 한 보고서에 따르면 메이저 학회들이 겪고 있는 리뷰 시스템의 위기가 심각한 수준이라고 해요. 가짜 인용이 늘어나면 연구자들의 성과 지표가 왜곡되고 결국 가짜 정보가 진실처럼 굳어지는 악순환이 생길 수 있어요. 학계의 권위를 유지하기 위해서는 사람이 직접 검증하는 단계가 훨씬 더 강화되어야 한다는 목소리가 커지고 있답니다.
AI를 활용해 연구 논문 초안을 작성할 때 주의사항
글쓰기 보조 도구로 AI를 사용하는 것 자체는 나쁜 게 아니에요. 다만 주객이 전도되지 않도록 명확한 기준을 세워야 하더라고요. 저도 글을 쓸 때 AI의 도움을 받지만 항상 마지막에는 수동으로 검증하는 절차를 거치곤 해요.
- AI에게는 구조 잡기나 문장 다듬기만 맡기기
- 고유 명사, 숫자, 인용 정보는 반드시 직접 입력하기
- 최종 결과물은 반드시 교차 검증 도구로 한 번 더 걸러내기
AI는 확률적으로 다음에 올 단어를 예측하는 모델일 뿐 사실 관계를 판단하는 지능이 아니라는 점을 명심해야 해요. 특히 학술적인 글이나 전문 지식을 다루는 포스팅을 할 때는 이 원칙이 더욱 중요해진답니다.
향후 학술 대회에서 환각 문제를 해결하는 3가지 대책
앞으로는 이런 문제를 방지하기 위해 기술적인 대책들이 도입될 것으로 보여요. 이미 여러 학회에서 새로운 가이드라인을 논의 중이라고 하더라고요.
- 제출 논문에 대한 AI 탐지 소프트웨어 의무 사용
- 인용 문헌의 고유 식별자(DOI) 자동 검증 시스템 구축
- AI 도구 사용 여부와 범위를 명시하는 투명성 보고서 제출
이런 제도적 장치가 마련된다면 지금보다 훨씬 깨끗한 연구 환경이 조성될 수 있을 거예요. 기술의 발전만큼이나 그것을 다루는 사람의 책임감과 윤리 의식도 함께 성장해야 한다는 것을 이번 사건이 잘 보여주고 있습니다.
마치며
세계 최고의 전문가들조차 NeurIPS 환각 현상 앞에서는 실수를 피하지 못했다는 점이 참 아이러니하면서도 많은 생각을 하게 하네요. 도구가 똑똑해질수록 우리의 검증 능력도 더 예리해져야 한다는 사실을 잊지 말아야겠어요. 여러분도 AI가 만든 정보를 접할 때 한 번쯤은 사실인지 의심해 보고 직접 확인해 보는 습관을 가져보시는 건 어떨까요?
이어서 보면 좋은 글
#NeurIPS #AI환각 #GPTZero #인공지능논문 #연구윤리 #딥러닝 #학술대회 #논문작성법 #AI기술 #테크뉴스