구글이 최근 발표한 보고서에 따르면 제미나이를 복제하려는 시도가 10만 번 이상 발생했다고 합니다. 단순히 질문을 던지는 것만으로 인공지능의 지식을 훔치는 모델 추출 공격이 현실화된 것인데요. 기업의 핵심 자산인 AI 모델을 보호하기 위해 우리가 알아야 할 핵심적인 공격 기법과 방어 대책을 정리해 보았습니다.
Gemini 모델 추출 공격이 위협적인 진짜 이유
모델 추출은 외부에서 인공지능 모델에 수많은 질문을 던져 그 답변을 수집하는 방식으로 이루어집니다. 공격자는 모델의 내부 구조나 학습 데이터를 직접 보지 않고도 출력값만 분석하여 성능이 유사한 복제 모델을 만들어낼 수 있습니다.
이는 마치 유명 셰프의 레시피를 몰라도 그 식당의 모든 메뉴를 주문해 맛보고 성분을 분석하여 똑같은 맛을 내는 요리를 만드는 것과 비슷합니다. 구글은 이번 공격이 상업적인 목적을 가진 조직에 의해 수행된 것으로 보고 있으며 지적 재산권 침해에 해당한다고 강력히 비판했습니다.
지식 전이의 핵심 기술인 증류는 어떻게 작동할까
업계에서는 대형 모델의 지식을 소형 모델로 옮기는 기법을 증류라고 부릅니다. 수십억 달러의 비용과 수년의 시간이 걸리는 거대 언어 모델 개발 과정을 획기적으로 줄여주는 기술이기도 합니다.
- 기존의 고성능 모델에 선별된 질문을 입력하기
- 출력된 답변 쌍을 모아 데이터셋 구축하기
- 해당 데이터를 활용해 더 작고 가벼운 모델 학습시키기
이 과정을 거치면 원본 모델의 추론 능력이나 답변 스타일을 놀라울 정도로 비슷하게 따라 하는 카피캣 모델이 탄생하게 됩니다.
10만 번의 질문으로 AI를 복제하는 과정
이번에 발견된 공격 사례는 특히 집요했습니다. 공격자들은 영어뿐만 아니라 다양한 비영어권 언어를 사용하여 제미나이에게 10만 회 이상의 질문을 퍼부었습니다. 필터링 시스템을 우회하기 위해 다국어를 섞어 쓰거나 논리적 추론이 필요한 단계별 답변을 집중적으로 수집한 것이 특징입니다.
이런 대규모 캠페인은 일반적인 사용자의 질문 패턴과는 명확히 다릅니다. 특정 주제에 대해 집요하게 파고들거나 모델의 사고 과정을 흉내 내기 위해 논리적 단계를 세분화하여 답변하도록 유도하는 방식을 사용했습니다.
저비용으로 고성능 모델을 만드는 복제 기법
이런 공격이 끊이지 않는 이유는 결국 경제성 때문입니다. 메타의 라마 모델을 기반으로 스탠퍼드 연구진이 만든 알파카 모델이 대표적인 예시입니다. 당시 연구진은 오픈AI의 API를 통해 얻은 5만여 개의 데이터를 활용해 단돈 600달러 만에 챗GPT와 유사한 성능을 내는 모델을 만들어냈습니다.
최근에는 일론 머스크의 xAI가 선보인 그록 모델도 복제 논란에 휩싸인 적이 있습니다. 특정 질문에 대해 오픈AI의 정책을 언급하며 답변을 거부하는 현상이 발생했기 때문입니다. 이는 웹 크롤링 과정에서 챗GPT의 답변 데이터가 섞여 들어갔을 가능성을 시사하며 인공지능 업계의 데이터 오염과 복제 문제가 얼마나 심각한지 보여줍니다.
Gemini 보안을 강화하기 위한 구글의 대응책
구글은 이번 10만 건의 공격을 포착한 후 제미나이의 방어 체계를 즉각 수정했다고 밝혔습니다. 하지만 구체적으로 어떤 기술적 조치를 취했는지는 보안상의 이유로 공개하지 않았습니다. 일반적으로 업계에서 사용하는 방어 전략은 다음과 같습니다.
- API 호출 속도 제한을 통한 대량 수집 방지
- 비정상적인 반복 질문 패턴 실시간 감지
- 출력되는 답변에 미세한 워터마크나 노이즈 삽입
- 특정 분야의 지식이 한꺼번에 유출되지 않도록 답변 다양화
공격자들은 갈수록 교묘해지고 있으며 딥시크와 같은 경쟁 기업들도 증류 기술을 적극적으로 활용하여 성능을 높이고 있는 추세입니다. 이에 따라 AI 모델의 소유권을 어디까지 인정할 것인지에 대한 법적 공방도 거세질 전망입니다.
AI 지식 재산권 보호를 위한 마무리
인공지능 기술이 발전할수록 정교하게 설계된 모델을 지키는 일은 더욱 어려워지고 있습니다. 구글의 사례에서 보듯 이제는 해킹뿐만 아니라 정상적인 대화 채널을 통한 지식 추출도 심각한 위협이 되었습니다. 기업들은 자산인 모델을 보호하기 위해 모니터링 시스템을 강화하고 기술적 방어막을 구축하는 데 더 많은 투자를 해야 합니다. 우리 또한 인공지능이 생성한 결과물이 누군가의 막대한 자본과 노력이 들어간 지적 재산임을 인지하고 이를 존중하는 생태계를 만들어가야 하겠습니다.
출처: https://arstechnica.com/ai/2026/02/attackers-prompted-gemini-over-100000-times-while-trying-to-clone-it-google-says/
이어서 보면 좋은 글
#Gemini #AI보안 #모델추출 #구글AI #인공지능복제 #머신러닝 #증류기술 #IT트렌드 #지식재산권 #테크뉴스