2025년, 미국 캘리포니아의 한 검찰청이 인공지능(AI)을 활용해 제출한 소송 서류에서 심각한 오류가 발견되며 법률 시스템 내 AI의 역할에 대한 뜨거운 논쟁이 불거졌습니다. 이른바 ‘AI 환각’ 현상으로 불리는 잘못된 정보 생성 문제가 법정에서 현실화된 것인데요. 과연 인공지능이 만들어낸 이 치명적인 오류는 어떤 파장을 일으킬까요? 이번 사건을 통해 우리는 사법 시스템에서 AI 활용의 현주소와 앞으로 마주할 윤리적, 법적 과제들을 심도 깊게 들여다볼 수 있습니다.
미국 사법 시스템에 드리운 AI의 그림자: 첫 논란의 시작
최근 미국 캘리포니아의 한 검찰청에서 AI를 이용해 제출한 소송 서류에 치명적인 오류가 발견되어 큰 파문이 일고 있습니다. 네바다 카운티 지방 검찰청 소속 검사가 작성한 해당 서류에는 실제 존재하지 않는 판례가 인용되거나, 기존 법원 판결을 잘못 해석하는 등 명백한 ‘AI 환각’ 현상이 나타났다고 하는데요. 이 사실이 밝혀지자마자 해당 서류는 즉시 철회되었지만, 이미 미국 사법 시스템에 인공지능 오용에 대한 경고등이 켜진 셈입니다.
AI ‘환각’ 현상, 법정에서 실제 벌어지다
이번 사건의 핵심은 바로 인공지능의 ‘환각’ 현상입니다. AI 환각이란 AI가 학습하지 않은 정보를 마치 사실인 것처럼 지어내거나, 맥락에 맞지 않는 내용을 생성하는 오류를 말합니다. 특히 법률 문서처럼 정확성과 신뢰성이 생명인 분야에서 이러한 오류는 심각한 문제를 초래할 수 있습니다. 카일 콜러 변호인단은 검찰 서류에서 발견된 오류들이 일반적인 AI 생성물의 특징과 일치한다며, 검찰이 다른 형사 사건에서도 AI를 사용했을 가능성을 제기했습니다. 실제 존재하지 않는 인용문이나 오해석된 법원 판결은 AI가 흔히 저지르는 실수들이라고 합니다.
피고인의 권리 침해 논란, ‘AI 오류’의 심각성
검찰의 AI 오용은 단순히 행정적인 실수를 넘어섭니다. 피고인 카일 콜러 측 변호인단은 부정확한 법적 근거에 의존하는 것이 윤리 규정을 위반할 뿐만 아니라, 형사 피고인의 적법 절차권과 법원의 정당성에 대한 근본적인 위협이 될 수 있다고 주장했습니다. AI가 만들어낸 잘못된 정보가 재판 결과에 영향을 미치거나, 피고인의 방어권을 침해할 가능성을 배제할 수 없기 때문입니다. 이는 결국 공정한 재판이라는 사법 시스템의 가장 기본적인 원칙마저 흔들 수 있는 심각한 문제입니다.
검찰의 해명과 AI 활용 지침 변화
논란이 커지자 네바다 카운티 지방 검찰청은 성명을 통해 한 건의 서류에 AI를 사용했음을 인정했습니다. 하지만 카일 콜러 사건에는 AI를 사용하지 않았으며, 다른 오류들은 단순한 인적 실수였다고 해명했습니다. 또한, 검찰청은 모든 변호사들에게 법률 인용을 독립적으로 확인하고, AI가 생성한 자료는 신뢰할 수 있는 출처를 통해 검증하도록 상기시켰다고 밝혔습니다. 더 나아가 새로운 직원 교육과 인공지능 정책을 시행하여 재발 방지를 위한 노력을 기울이고 있다고 덧붙였습니다.
글로벌 AI 법률 시스템의 미래와 윤리적 과제
이번 캘리포니아 검찰 AI 오용 사건은 미국에서 검찰청이 법정 서류에 생성형 AI를 사용한 첫 사례로 기록될 가능성이 큽니다. 이미 캐나다, 호주, 영국 등 여러 국가에서 변호사들이 AI 사용 문제로 벌금을 부과받은 사례는 있었지만, 검찰 측의 경우는 드물었습니다. HEC 파리 경영대학원 연구진의 자료에 따르면, AI 오류가 포함된 법원 사건 중 검사가 작성한 것은 이스라엘의 한 건뿐이라고 합니다. 이는 법률 분야에서 인공지능의 활용이 점차 확대되고 있음을 보여주며, 동시에 정확성, 투명성, 그리고 윤리적 책임에 대한 명확한 지침 마련이 시급함을 시사합니다.
마무리
인공지능은 분명 법률 분야에 혁신적인 변화를 가져올 잠재력을 가지고 있습니다. 하지만 이번 캘리포니아 검찰 AI 오용 논란은 AI 기술의 한계와 오용 시 발생할 수 있는 심각한 문제들을 여실히 보여주었습니다. 앞으로 사법 시스템 내에서 인공지능의 역할은 더욱 중요해질 텐데요. 인공지능의 장점은 극대화하면서도 잠재적 위험을 최소화하기 위한 사회적 논의와 제도적 정비가 시급히 필요합니다. 여러분은 AI의 법률 시스템 도입에 대해 어떻게 생각하시나요?
출처: https://www.theguardian.com/us-news/2025/nov/26/prosecutor-ai-inaccurate-motion