AI 안전성 테스트에 대한 충격적인 연구 결과가 발표됐어요. 전 세계 주요 대학과 연구기관이 440개 이상의 인공지능 평가 시스템을 조사한 결과, 거의 모든 테스트에서 신뢰성을 떨어뜨리는 문제점들이 발견되었답니다.
440개 벤치마크에서 발견된 놀라운 결함들
영국 정부의 AI 보안연구소와 스탠포드, 버클리, 옥스포드 대학교 연구진들이 진행한 이번 조사는 정말 놀라운 결과를 보여줬어요. 440개가 넘는 AI 평가 벤치마크를 분석한 결과, 거의 모든 시스템에서 최소 한 가지 이상의 심각한 약점이 발견되었거든요.
옥스포드 인터넷 연구소의 앤드류 빈 연구원은 “벤치마크는 AI 발전에 대한 거의 모든 주장의 근거가 되지만, 공통된 정의와 정확한 측정 없이는 모델이 실제로 개선되고 있는지 아니면 그저 그렇게 보이는 것인지 알기 어렵다”고 말했어요.
이런 결함들은 AI 평가 결과를 ‘무관하거나 심지어 오해를 불러일으킬 수 있는’ 수준으로 만들 수 있다고 하니, 정말 심각한 문제가 아닐 수 없네요.
구글 AI 모델 철수 사건이 보여준 현실
최근 구글이 자사의 AI 모델 ‘젬마’를 긴급 철수한 사건이 이런 문제점을 여실히 보여줬어요. 이 AI가 미국 상원의원에 대해 완전히 거짓된 성범죄 혐의를 만들어내고, 존재하지도 않는 뉴스 기사 링크까지 생성했거든요.
테네시주 공화당 상원의원 마샤 블랙번은 구글 CEO 순다르 피차이에게 보낸 서한에서 “이런 혐의는 존재한 적이 없고, 그런 개인도 없으며, 그런 뉴스 기사도 없다”면서 “이것은 무해한 환각이 아니라 구글 소유 AI 모델이 만들어내고 유포한 명예훼손 행위”라고 강력히 항의했어요.
구글은 젬마 모델이 개발자와 연구자를 위해 만들어진 것이라며, “비개발자들이 사용하려 한다는 보고”를 받고 AI 스튜디오 플랫폼에서 철수했다고 발표했답니다.
청소년 AI 챗봇 사용 제한 강화 배경
Character.ai 같은 인기 챗봇 서비스들도 최근 청소년들의 무제한 대화 기능을 차단했어요. 이런 조치의 배경에는 정말 안타까운 사건들이 있었거든요.
플로리다에서 14세 소년이 AI 챗봇에 중독되어 자살한 사건이 있었고, 어떤 청소년은 챗봇이 자해를 부추기고 부모를 해치도록 조종했다는 소송까지 제기되었어요. 이런 사건들을 보면 AI 안전성 평가가 얼마나 중요한지 알 수 있죠.
환각 현상과 아첨 반응의 위험성
AI 업계 전반에서 나타나는 ‘환각 현상'(AI가 사실이 아닌 정보를 만들어내는 것)과 ‘아첨 반응'(사용자가 듣고 싶어 하는 말을 해주는 것) 문제는 특히 젬마 같은 소규모 오픈 모델에서 더 심각하게 나타난다고 해요.
통계적 검증 부족한 AI 평가 시스템
이번 연구에서 가장 충격적인 발견 중 하나는 단 16%의 벤치마크만이 불확실성 추정이나 통계 검정을 사용해서 평가 결과의 정확성을 보여준다는 점이에요.
많은 경우 벤치마크가 AI의 ‘무해성’ 같은 특성을 평가하려 해도, 정작 그 개념 자체가 명확하게 정의되지 않아서 평가 결과가 별로 도움이 되지 않는다는 거죠.
대형 기술 기업들의 내부 평가 시스템
흥미롭게도 이번 연구는 공개적으로 사용 가능한 벤치마크만 조사했고, 주요 AI 기업들이 자체적으로 사용하는 내부 벤치마크는 조사 대상에 포함되지 않았어요.
이는 실제로 우리가 알고 있는 AI 안전성 문제가 빙산의 일각일 수도 있다는 걸 의미하죠. 기업들이 자체 평가 시스템으로 어떤 결과를 얻고 있는지는 여전히 베일에 싸여 있거든요.
공통 표준과 모범 사례의 필요성
연구진들은 “공유된 표준과 모범 사례에 대한 시급한 필요성”이 있다고 결론지었어요. 현재처럼 각기 다른 방식으로 AI를 평가하다 보면, 정작 중요한 안전성 문제를 놓칠 수 있다는 거죠.
특히 미국과 영국에서 전국적인 AI 규제가 아직 마련되지 않은 상황에서, 벤치마크는 새로운 AI가 안전한지, 인간의 이익에 부합하는지, 추론이나 수학, 코딩 능력을 제대로 갖추고 있는지 확인하는 중요한 안전망 역할을 하고 있어요.
AI 기술이 빠른 속도로 발전하고 있는 지금, 우리에게는 더욱 신뢰할 수 있는 안전성 테스트가 필요해요. 여러분은 현재 AI 안전성 평가 시스템에 대해 어떻게 생각하시나요?