인공지능(AI) 기술이 법률 시스템에 미치는 영향은 어디까지일까요? 최근 캐나다에서 한 남성이 AI가 만들어낸 가짜 정보, 즉 ‘AI 환각’을 법원에 증거로 제출했다가 3,500달러의 벌금을 부과받았습니다. 이 사건은 AI 오용의 심각성과 법적 책임에 대한 중요한 선례를 남겼는데요. 이번 판결이 의미하는 바와 앞으로 법률 분야에서 AI를 어떻게 활용해야 할지 함께 알아보세요.
1. AI 환각, 대체 무엇이 문제였을까요? (사건 개요)
최근 캐나다 퀘벡 고등법원에서 발생한 사건은 인공지능 사용에 대한 경각심을 일깨워주었습니다. 장 라프라드(Jean Laprade) 씨는 서아프리카 기니에서 헬리콥터와 비행기 거래를 중개하다가 계약 분쟁에 휘말리게 됩니다. 계약서상의 오류로 인해 그는 원래 합의했던 것보다 훨씬 더 비싼 항공기를 얻게 되었고, 이를 되찾으려는 두 항공사의 노력에 맞서 자신을 변호해야 했습니다. 법률 전문가의 도움 없이 스스로 변론에 나선 라프라드 씨는 변론 과정에서 인공지능의 도움을 받기로 결정했습니다.
하지만 문제는 그가 제출한 증거에서 시작되었습니다. 라프라드 씨는 법원에 존재하지 않는 판례, 실제 내려지지 않은 결정, 무의미한 참고 자료 등 무려 “여덟 건의 비실재 인용, 내려지지 않은 결정, 무목적 인용 및 일관성 없는 결론”을 포함한 정보를 제출했습니다. 이 모든 정보는 인공지능이 만들어낸 가짜, 즉 ‘AI 환각(AI hallucinations)’이었죠. 모린(Luc Morin) 판사는 이를 “고도로 비난받을 만한 행위”로 규정하며 법률 시스템의 근간을 뒤흔드는 심각한 위반이라고 지적했습니다.
2. ‘AI 환각’이란 무엇이며, 법률 시스템에 왜 위험할까요?
그렇다면 ‘AI 환각’은 정확히 무엇을 의미할까요? AI 환각은 인공지능이 실제로는 존재하지 않거나 사실이 아닌 정보를 마치 진짜인 것처럼 그럴듯하게 생성하는 현상을 말합니다. 특히 텍스트 기반의 생성형 AI 모델에서 자주 나타나며, 모델이 학습한 데이터 내에서 패턴을 찾아 새로운 내용을 만들어내는 과정에서 잘못된 연결이나 허위 정보를 생성할 때 발생하곤 해요. 이러한 ‘환각’은 때로는 너무나도 설득력 있게 보여 사용자조차 쉽게 진위 여부를 판단하기 어렵게 만듭니다.
법률 시스템에서 이러한 AI 환각은 매우 치명적일 수 있습니다. 법은 사실과 증거에 기반하며, 판례와 법률 조항은 법적 판단의 핵심 기준이 됩니다. 만약 AI가 만들어낸 가짜 판례나 법률 해석이 법정에서 증거로 활용된다면, 이는 곧 사법 시스템의 공정성과 신뢰성을 심각하게 훼손할 수 있습니다. 판사나 변호인, 심지어 당사자에게까지 잘못된 정보를 제공하여 사건의 결과에 결정적인 영향을 미칠 수도 있기 때문이에요. 이러한 이유로 모린 판사는 라프라드 씨의 행위를 “심각한 위반”으로 간주하며 3,500달러의 벌금을 부과했습니다.
3. 캐나다 법원이 AI 오용에 철퇴를 내린 이유
캐나다 퀘벡 고등법원은 이번 사건을 통해 AI 오용에 대한 단호한 입장을 다시 한번 천명했습니다. 사실 캐나다 법원은 2023년부터 이미 법률 커뮤니티 전체에 인공지능 사용에 대한 명확한 경고를 보내왔습니다. 당시 법원은 AI가 생성한 정보는 반드시 “엄격한 인간의 통제(rigorous human control)”를 거쳐야 한다는 내용의 공지를 발표하며, 새로운 기술의 도입에 신중하게 접근해야 함을 강조했죠.
모린 판사는 라프라드 씨가 “상대방과 재판부를 허위로 오도하려는 시도”를 했다고 강하게 비판하며, 이는 법적 절차의 존엄성을 해치는 행위임을 분명히 했습니다. “절차를 제출하는 행위는 결코 가볍게 여겨서는 안 되는 엄숙한 행위”라는 판사의 언급은 법률 시스템의 무결성을 지키고자 하는 의지를 보여줍니다. 라프라드 씨가 변호인 없이 자신을 변론하는 데 어려움을 겪었을 것이라는 점을 인정하면서도, 법원은 그의 행위가 “고도로 비난받을 만하며”, AI 환각으로 인한 모든 비난과 책임은 오롯이 그에게 있다고 판결했어요. 이 판결은 AI 사용의 편리함 뒤에 숨겨진 윤리적, 법적 책임의 무게를 명확히 상기시켜 줍니다.
4. 법률 분야에서 AI 사용 시 반드시 지켜야 할 원칙들
이번 캐나다 법원의 판결은 법률 분야에서 인공지능을 활용할 때 반드시 지켜야 할 몇 가지 중요한 원칙들을 제시합니다. 첫째, ‘엄격한 인간의 통제와 검증’은 필수적입니다. AI는 강력한 리서치 도구가 될 수 있지만, AI가 생성한 모든 정보는 반드시 법률 전문가의 철저한 검토와 사실 확인을 거쳐야 합니다. AI가 제시하는 정보가 법적 효력을 가지려면 그 내용이 정확하고 신뢰할 수 있어야 하기 때문이죠.
둘째, AI의 ‘환각’ 현상에 대한 명확한 인지와 이해가 필요합니다. 생성형 AI는 그럴듯한 답변을 만들어내는 데 탁월하지만, 때로는 전혀 사실이 아닌 정보를 진짜처럼 제시할 수 있습니다. 법률 정보는 물론, 어떤 중요한 결정을 내릴 때도 AI가 제공하는 정보를 맹신하지 말고 항상 비판적인 시각으로 접근해야 해요.
셋째, AI 사용에 따른 ‘책임 소재’를 명확히 해야 합니다. 이번 사례에서 보듯, AI가 생성한 잘못된 정보를 제출했을 때의 법적 책임은 최종적으로 그 정보를 제출한 인간에게 있습니다. AI는 보조 도구일 뿐, 법률 서비스의 품질과 윤리적 기준을 책임지는 주체는 결국 인간이라는 점을 명심해야 합니다. 이 원칙들은 AI가 법률 시스템에 통합되는 과정에서 발생할 수 있는 잠재적 위험을 최소화하고 신뢰를 유지하는 데 필수적입니다.
5. AI 기술과 법률 시스템의 미래, 과제는 무엇일까요?
이번 캐나다 판결은 인공지능 기술이 법률 시스템에 가져올 변화와 함께 우리가 직면할 과제를 명확히 보여줍니다. 모린 판사는 판결문에서 인공지능의 “매혹적인 약속과 부적절한 사용과 관련된 두려움”이 공존하며, 앞으로 수년간 인공지능이 법원의 경계심을 심각하게 시험할 것이라고 언급했습니다. 이는 AI가 법률 분야에 가져올 혁신적인 잠재력을 인정하면서도, 그 위험성에 대한 지속적인 경고를 놓치지 않겠다는 의지를 담고 있습니다.
미래의 법률 시스템은 AI의 강력한 분석 및 예측 능력을 활용하여 효율성을 높일 수 있을 것입니다. 예를 들어, 방대한 판례를 신속하게 분석하거나 법률 문서 초안을 작성하는 데 AI가 큰 도움을 줄 수 있죠. 하지만 동시에 AI가 생성하는 정보의 정확성, 편향성, 그리고 이로 인한 윤리적 문제들을 어떻게 통제하고 관리할지에 대한 명확한 법적, 윤리적 프레임워크를 구축하는 것이 중요한 과제가 될 것입니다. 결국, AI는 인간의 판단과 책임을 보조하는 도구로서 자리 잡아야 하며, 그 경계를 명확히 설정하는 것이 AI 시대 법률 시스템의 핵심적인 역할이 될 것입니다.
마무리
캐나다 법원의 이번 판결은 인공지능 시대에 우리가 마주할 새로운 윤리적, 법적 도전에 대한 중요한 이정표가 됩니다. AI 기술의 발전은 사회 전반에 걸쳐 혁신을 가져오겠지만, 동시에 그에 따른 부작용과 AI 오용의 위험성도 함께 커지고 있다는 점을 잊지 말아야 해요. 특히 법률과 같이 신뢰와 공정성이 중요한 분야에서는 AI의 도움을 받더라도 최종적인 검증과 책임은 항상 인간에게 있다는 점을 명심해야 합니다. 이러한 사례를 통해 AI 기술의 발전과 함께 우리 사회가 어떤 준비를 해야 할지 함께 고민해 보면 좋겠습니다. 여러분은 이 사건에 대해 어떻게 생각하시나요?
출처: https://www.theguardian.com/world/2025/oct/15/canada-ai-hallucinations-legal-defense