인공지능(AI) 시대, 공들여 만든 온라인 콘텐츠가 AI 학습에 무단으로 사용되는 현실에 당황하셨나요? AI 챗봇이 모든 것을 요약하며 웹사이트 트래픽과 수익이 급감하는 상황은 더 이상 남의 이야기가 아닙니다. 이런 위기 속에서 AI 웹 크롤러가 콘텐츠를 수집할 때마다 비용을 지불하는 ‘페이 투 크롤’ 시스템이 새로운 대안으로 떠올랐어요. 글로벌 비영리 단체 크리에이티브 커먼즈(Creative Commons)마저 ‘신중한 지지’를 표명했다는데, 과연 이 시스템은 무엇일까요?
AI 웹 크롤링, 왜 콘텐츠 창작자들의 골칫거리가 되었을까요?
과거에는 구글과 같은 검색 엔진의 웹 크롤러가 콘텐츠를 수집하여 검색 결과에 노출시켰습니다. 덕분에 웹사이트는 검색 유입을 통해 트래픽과 클릭을 얻을 수 있었죠. 이는 웹사이트와 검색 엔진 모두에게 이로운 공생 관계였어요. 하지만 AI 기술이 발전하면서 이러한 역학 관계가 크게 변했습니다.
AI 챗봇은 검색 결과로 이동할 필요 없이 사용자에게 직접적인 답변을 제공하기 시작했어요. 소비자들이 더 이상 원본 출처를 클릭하지 않게 되면서, 웹사이트의 검색 트래픽은 급감했고 이는 출판사와 콘텐츠 창작자들에게 심각한 재정적 타격을 주었습니다. 실제로 많은 언론사와 미디어 기업들이 수익 감소로 어려움을 겪는 현실을 마주하고 있어요.
크리에이티브 커먼즈가 말하는 ‘페이 투 크롤’이란 무엇인가요?
‘페이 투 크롤(Pay-to-Crawl)’은 AI 웹 크롤러와 같은 기계가 웹사이트 콘텐츠에 접근할 때마다 자동으로 비용을 지불하게 하는 시스템을 말합니다. 쉽게 말해, AI가 콘텐츠를 학습하기 위해 정보를 긁어갈 때마다 콘텐츠 제공자에게 정당한 대가를 지불하라는 개념이죠. 이 아이디어는 클라우드플레어(Cloudflare)와 같은 기업들이 주도하고 있습니다.
저작권 보호와 콘텐츠 공유를 위한 라이선스 운동을 이끌어온 비영리 단체 크리에이티브 커먼즈(Creative Commons, CC)는 이러한 ‘페이 투 크롤’ 기술에 대해 ‘신중한 지지(cautiously supportive)’ 입장을 밝혔어요. 데이터와 AI 제공자 간의 데이터셋 공유를 위한 법적, 기술적 프레임워크를 제공하려던 CC의 원래 계획에서 한발 더 나아간 행보라고 볼 수 있습니다.
콘텐츠 수익, 과연 AI 시대의 새로운 희망이 될 수 있을까요?
‘페이 투 크롤’ 시스템이 도입되면, 출판사들은 AI로 인한 수익 감소를 만회할 수 있는 기회를 얻게 됩니다. 특히 OpenAI와 콘데 나스트(Condé Nast), 아마존과 뉴욕타임스처럼 AI 기업과 대형 미디어사 간에 개별적인 콘텐츠 계약을 맺을 여력이 없는 소규모 웹 출판사들에게는 더욱 큰 도움이 될 수 있어요.
크리에이티브 커먼즈는 이 시스템이 책임감 있게 구현될 경우, 웹사이트들이 콘텐츠 제작 및 공유를 지속하고, 콘텐츠가 훨씬 더 제한적인 유료화 장벽 뒤로 사라지는 것을 막아 공공 접근성을 유지하는 방법이 될 수 있다고 긍정적으로 평가하고 있습니다.
무조건 좋은 것만은 아니다? 크리에이티브 커먼즈의 신중한 지지
크리에이티브 커먼즈는 ‘페이 투 크롤’에 대한 지지와 함께 몇 가지 주의사항을 제시했습니다. 이 시스템이 자칫 웹상의 권력을 특정 소수에게 집중시키거나, 공익을 위해 활동하는 연구자, 비영리 단체, 문화유산 기관, 교육자 등의 콘텐츠 접근을 방해할 수도 있다는 우려 때문입니다.
CC는 “책임감 있게 구현되어야 한다”는 단서를 달며, 시스템이 가져올 수 있는 잠재적인 부작용에 대해 경고하고, 이러한 문제를 해결하기 위한 구체적인 원칙들을 제안했습니다.
책임감 있는 ‘페이 투 크롤’ 시스템을 위한 5가지 원칙
크리에이티브 커먼즈는 ‘페이 투 크롤’ 시스템이 다음과 같은 원칙들을 준수해야 한다고 강조했어요.
- 모든 웹사이트의 기본 설정이 되지 않아야 합니다.
- 웹에 대한 획일적인 규칙을 피해야 합니다.
- 단순 차단이 아닌 ‘스로틀링(throttling)’ 기능(접근 속도 제한)을 허용해야 합니다.
- 공익을 위한 접근을 보존해야 합니다.
- 개방적이고 상호 운용 가능하며 표준화된 구성 요소로 구축되어야 합니다.
마이크로소프트와 클라우드플레어, ‘페이 투 크롤’ 생태계는 어떻게 확장될까요?
클라우드플레어 외에도 마이크로소프트(Microsoft)가 출판사를 위한 AI 마켓플레이스를 구축하고 있으며, ProRata.ai, TollBit과 같은 소규모 스타트업들도 이 분야에 뛰어들고 있어요. 또한, RSL Collective라는 그룹은 크롤러가 웹사이트의 어떤 부분에 접근할 수 있는지 규정하는 새로운 표준인 ‘Really Simple Licensing (RSL)’을 발표했습니다.
RSL은 클라우드플레어, 아카마이(Akamai), 패스틀리(Fastly) 등이 채택했으며, 야후(Yahoo), 지프 데이비스(Ziff Davis), 오라일리 미디어(O’Reilly Media) 등도 지지하고 있습니다. 크리에이티브 커먼즈 역시 RSL 지지를 발표하며, AI 시대를 위한 기술 및 도구 개발 프로젝트인 ‘CC signals’의 일환으로 이 움직임에 동참하고 있어요.
마무리
AI 시대는 콘텐츠의 가치와 보상에 대한 근본적인 질문을 던집니다. ‘페이 투 크롤’ 시스템은 창작자들에게 새로운 희망을 제시하며, 크리에이티브 커먼즈의 신중한 지지는 책임감 있는 발전을 강조해요. 앞으로 이 ‘페이 투 크롤’ 시스템이 웹 생태계에 어떤 변화를 가져올지, 그리고 우리가 콘텐츠 창작의 정당한 가치를 어떻게 지켜나갈지 함께 지켜봐야 합니다.
같이 보면 좋은 글
#AI #페이투크롤 #크리에이티브커먼즈 #콘텐츠보상 #AI학습 #웹크롤링 #디지털저작권 #출판산업 #테크뉴스 #미디어미래