현장에서 업무 효율을 높이려 도입한 사회복지사 AI 도구가 오히려 돌이킬 수 없는 기록 오류를 만들고 있다는 소식이 들려왔네요. 최근 영국과 스코틀랜드의 17개 지자체를 대상으로 진행된 연구 결과에 따르면 인공지능이 상담 내용을 제멋대로 왜곡하거나 있지도 않은 사실을 지어내는 경우가 빈번하다고 해요. 취약 계층의 삶을 결정짓는 중요한 기록에 인공지능 환각 현상이 스며들면서 보호 대상자들이 위험에 노출될 수 있다는 우려가 커지고 있습니다.
사회복지 현장에 도입된 AI 전사 도구는 왜 논란일까?
최근 많은 복지 기관들이 사회복지사 AI 기술을 도입하는 이유는 만성적인 인력 부족과 과도한 서류 업무 때문이었어요. 상담 내용을 일일이 타이핑하는 대신 인공지능이 대화를 녹음하고 요약해주면 그만큼 사람을 돌보는 시간에 집중할 수 있다는 기대가 컸던 것이죠. 하지만 아다 러블레이스 연구소의 8개월간 조사에 따르면 이러한 기술적 편리함이 오히려 독이 되고 있다는 증거들이 속속 발견되었습니다.
가장 큰 문제는 인공지능이 생성한 기록이 공식적인 케어 레코드에 그대로 삽입된다는 점이었어요. 지자체에서 사용하는 매직 노트나 마이크로소프트 코파일럿 같은 도구들이 대화의 맥락을 잘못 파악하면서 현장의 혼란을 가중시키고 있었습니다. 실제 한 사회복지사는 인공지능이 작성한 요약본을 보고 경악을 금치 못했다고 하더라고요. 상담 중에는 전혀 언급되지 않았던 내용이 마치 사실인 것처럼 기록되어 있었기 때문입니다.
자살 충동을 제멋대로 기록하는 사회복지사 AI의 환각 현상
조사 결과 중 가장 충격적인 부분은 인공지능이 사용자의 상태를 극단적으로 왜곡하여 기록한 사례였어요. 인공지능 환각 현상으로 인해 발생한 대표적인 오류들은 다음과 같았습니다.
- 상담자가 언급하지 않은 자살 충동이나 구체적인 자살 계획을 기록에 포함
- 대상자가 위험한 상태에 처해 있다는 근거 없는 경고 생성
- 대화의 핵심 주제와 무관한 허구의 심리 상태 묘사
이러한 잘못된 정보가 기록에 남게 되면 사회복지사는 아동이나 취약 계층의 거처를 옮기거나 강제적인 조치를 취하는 등 잘못된 결정을 내릴 위험이 커집니다. 인공지능이 단순히 단어를 틀리는 수준이 아니라 상담의 본질을 완전히 바꿔버린다는 점에서 그 심각성이 크다고 볼 수 있겠네요.
아이들의 대화를 엉뚱한 단어로 바꾼 실제 오기입 사례
인공지능은 지역 사투리나 아이들의 말투를 제대로 이해하지 못해 엉뚱한 기록을 남기기도 했어요. 한 사례에서는 아이가 부모님의 다툼에 대해 이야기하고 있었는데 인공지능 전사 도구는 이를 생선튀김이나 파리 혹은 나무에 대한 이야기로 번역해버렸습니다. 정작 중요한 학대 징후나 가정 폭력의 단서를 놓치게 만드는 결정적인 결함이었죠.
동료들 사이에서는 인공지능이 만든 전사본이 횡설수설하는 수준이라며 비웃음거리가 되기도 한다는 목소리도 나왔습니다. 하지만 웃고 넘길 일이 아닌 것이 이러한 쓰레기 같은 데이터가 공식 문서에 쌓이게 되면 결국 복지 서비스의 질을 떨어뜨리고 보호받아야 할 사람들을 사지로 몰아넣을 수 있기 때문이에요. 특히 억양이 강한 지역 거주자들의 상담 기록은 인공지능이 거의 알아듣지 못하는 수준인 경우가 많아 형평성 문제까지 제기되고 있습니다.
업무 효율 개선이라는 장점 뒤에 숨겨진 치명적 결함
물론 사회복지사 AI 도구가 시간 절약 면에서 긍정적인 역할을 한다는 의견도 적지 않았어요. 39명의 사회복지사를 인터뷰한 결과 기록 작성을 돕는 도구 덕분에 서비스 이용자와 눈을 맞추는 시간이 늘어났다는 응답도 있었습니다. 하지만 이러한 효율성은 양날의 검과 같았죠.
- 시간 부족을 이유로 인공지능의 결과물을 2~5분 만에 훑어보고 복사 붙여넣기 하는 행태
- 인공지능이 다듬어준 문장이 사회복지사 자신의 판단보다 우선시되는 주객전도 상황
- 적절한 검토 없이 저장된 기록으로 인한 징계 절차 발생
전문가들은 사회복지사가 직접 기록을 작성하는 과정 자체가 상담 내용을 되돌아보고 성찰하는 중요한 과정이라고 강조해요. 컴퓨터가 이 과정을 대신해주면 사회복지사가 전문적인 판단력을 발휘할 기회를 잃게 된다는 점이 가장 우려되는 대목입니다.
사회복지 기록 AI 오류를 최소화하는 꼼꼼한 검토법
기술 도입을 막을 수 없다면 결국 사람이 얼마나 철저하게 검증하느냐가 관건이겠지요. 현장에서는 사회복지 기록 AI 도구를 사용할 때 반드시 지켜야 할 원칙들을 세우기 시작했습니다. 아무리 바쁘더라도 인공지능이 내뱉은 첫 번째 초안을 그대로 믿어서는 안 된다는 것이 핵심이에요.
현직자들이 제안하는 검토 방법은 이렇습니다.
- 전사본의 모든 문장을 실제 상담 녹음이나 기억과 대조하기
- 맥락에 맞지 않는 단어나 생소한 표현이 포함되었는지 문단별로 확인하기
- 인공지능이 요약한 평가 의견이 본인의 전문적 소견과 일치하는지 재검토하기
- 중요한 의사결정이 필요한 사례에는 가급적 인공지능 사용을 지양하기
실제로 어떤 사회복지사는 한 시간 분량의 인공지능 기록을 검토하는 데 다시 한 시간을 꼬박 사용하기도 한다고 해요. 이렇게 되면 결국 시간 절약이라는 초기 목적이 무색해지지만 기록의 정확성을 위해서는 어쩔 수 없는 선택인 셈입니다.
현장 전문가들이 강조하는 인공지능 활용 가이드라인
영국 사회복지사 협회는 현재 정부와 규제 기관에 명확한 가이드라인을 요구하고 있어요. 인공지능 도구가 가진 편향성이나 환각 위험이 충분히 평가되지 않은 채로 현장에 배포되었기 때문입니다. 사회복지사가 도구의 한계를 명확히 인지하고 책임감 있게 사용할 수 있도록 체계적인 교육이 선행되어야 한다는 목소리가 높습니다.
무분별한 도입보다는 각 사례의 특성에 맞게 도구를 선택하고 인공지능이 인간의 판단을 보조하는 수준에 머물러야 한다는 것이 중론이에요. 기술은 어디까지나 도구일 뿐이며 한 아이의 인생이나 취약 계층의 안전을 결정하는 최종 판단은 언제나 따뜻한 시선을 가진 사람의 몫이어야 하기 때문입니다.
사회복지사 AI 도구의 올바른 정착을 바라며
편리함이 안전을 담보로 해서는 안 된다는 사실을 이번 사회복지사 AI 오류 사태가 여실히 보여주고 있네요. 기술이 주는 혜택을 누리되 그 속에 숨겨진 환각과 왜곡의 위험을 끊임없이 경계하는 태도가 필요합니다. 인공지능이 만든 엉터리 기록으로 인해 누군가의 삶이 잘못된 방향으로 흘러가지 않도록 현장의 사회복지사분들과 관계 당국의 세심한 주의와 제도적 장치 마련이 절실한 시점입니다.
출처: https://www.theguardian.com/education/2026/feb/11/ai-tools-potentially-harmful-errors-social-work
이어서 보면 좋은 글
#사회복지사AI #AI오류 #아다러블레이스 #사회복지기록 #디지털복지 #AI환각 #영국복지뉴스 #아동보호 #기술윤리 #업무자동화