요즘 AI가 화두가 아니었던 적이 있었을까요? 마치 모든 기술 혁명의 정점에 선 것처럼, 사람들은 AI의 놀라운 발전에 열광합니다. 하지만 정작 이 AI 열풍 속에서 누가 진짜 돈을 벌고 있을까요? 대부분은 엔비디아 같은 반도체 회사나 오픈AI, 앤스로픽 같은 프런티어 랩을 떠올리실 텐데요. 놀랍게도, AI 모델 학습에 필요한 데이터를 공급하는 ‘숨겨진 조력자’들이 수십억 달러의 수익을 쓸어 담고 있습니다.
AI 모델 학습의 핵심, ‘훈련 데이터’는 왜 중요할까요?
AI 기술의 발전은 곧 ‘데이터’ 싸움이라고 해도 과언이 아닙니다. 특히 최첨단 AI 모델들은 방대한 양의 고품질 훈련 데이터를 필요로 하죠. 초기에는 웹상의 쉽게 접근 가능한 데이터를 활용했지만, 이제는 프로그래밍이나 금융처럼 특정 분야의 전문가들이 맞춤 제작한 데이터가 필수적입니다. 이런 특수 데이터는 AI 모델이 더욱 섬세하고 정확한 판단을 내리도록 돕기 때문인데요. 투자자들과 업계 전문가들은 올해 AI 훈련 데이터 시장에만 100억 달러 이상이 지출될 것으로 예상합니다. 이 막대한 지출의 대부분은 소수의 프런티어 AI 랩에서 나오고 있으며, 이들에게 데이터를 공급하는 회사들이 엄청난 수익을 내고 있습니다.
‘AI 데이터’로 대박 터뜨린 회사들의 성공 비결은 무엇일까요?
Mercor, Scale AI, Surge AI, Handshake AI 같은 회사들은 AI 훈련 데이터 시장에서 두각을 나타내고 있습니다. 2023년 단순 인력 알선 회사로 시작했던 Mercor는 2024년 Scale AI로부터 1,200명의 소프트웨어 엔지니어 요청을 받으며 전환점을 맞았어요. AI 학습 데이터 수요가 폭발적으로 증가하는 것을 직감한 거죠. 그 결과 Mercor는 22세의 공동 창업자들이 자수성가한 억만장자가 될 정도로 빠르게 성장했습니다. 이들의 비결은 언어 모델이 이력서를 검토하고 인터뷰를 진행하는 등 자동화된 채용 시스템과 특정 분야의 전문 인력을 연결하는 데 있었어요.
RLHF와 ‘그레이딩 루브릭’의 등장
초기 ChatGPT 같은 언어 모델은 ‘인간 피드백 기반 강화 학습(RLHF)’이라는 방식을 통해 학습했습니다. 이는 계약자들이 챗봇의 응답 품질을 평가하고, 이 평가를 기반으로 모델을 학습시키는 방식이죠. 하지만 챗봇이 발전하면서 더 미묘하고 전문적인 평가가 필요해졌어요. 의료 조언의 품질을 판단하려면 의학적 지식을 가진 사람이 필요하듯이 말이죠.
이러한 수요에 맞춰 ‘그레이딩 루브릭(grading rubrics)’이라는 평가 기준표가 등장했습니다. 수십 가지의 세부적인 기준을 담고 있어, 모델이 특정 작업을 얼마나 잘 수행했는지 명확하게 평가할 수 있도록 돕습니다. 예를 들어, 무반응 이웃에 대한 질문에 AI 모델이 맥박 확인, 제세동기 위치 파악, CPR 수행 등 16가지 기준을 포함한 답변을 내놓으면 보상을 받는 식이죠. 이 루브릭을 만드는 작업은 매우 노동 집약적이며, 하나의 루브릭을 다듬는 데 10시간 이상이 걸리기도 합니다.
AI ‘체육관’과 모라벡의 역설: 인간의 개입이 필요한 이유
AI 모델은 ‘강화 학습 환경’, 즉 AI ‘체육관’이라고 불리는 시뮬레이션 환경에서 훈련됩니다. 모델은 이곳에서 클릭하고 드래그하는 등 실제 업무와 유사한 작업을 수행하며, 앞서 말한 그레이딩 루브릭에 따라 높은 점수를 받도록 시행착오를 거치며 학습하죠. 이 AI 체육관 시장 역시 엄청나게 성장하고 있습니다.
하지만 여기서 ‘모라벡의 역설(Moravec’s paradox)’이 나타납니다. 인간에게는 쉬운 일이 기계에게는 어렵다는 역설이죠. AI는 바둑 같은 복잡한 문제는 잘 풀지만, 실제 세계의 모호한 엔지니어링 작업에서는 여전히 어려움을 겪습니다. 코드처럼 성공 여부가 명확한 영역에서는 강화 학습이 잘 작동하지만, 법률 브리핑이나 컨설팅 분석처럼 성공 기준이 모호한 영역에서는 어려움을 겪는 거죠. “모델이 도메인 전문가처럼 들리게 할 수는 있지만, 실제 유용성은 아직 한계가 있다”는 것이 업계의 솔직한 이야기입니다.
시장의 역동성과 치열한 경쟁, 그리고 미래
AI 훈련 데이터 시장은 빠르게 성장하고 있지만, 동시에 매우 역동적이고 경쟁이 치열합니다. Scale AI가 Meta에 인수된 후 다른 랩들이 이탈하면서 Handshake AI와 같은 경쟁사들은 수요가 3배로 폭증하는 경험을 했죠. Mercor, Surge AI, Handshake AI의 CEO들은 서로의 비즈니스 모델을 비판하며 신경전을 벌이기도 합니다. 품질 문제, 직원 유출, 자금 조달 방식 등 다양한 이슈로 끊임없이 대립하고 있죠.
이처럼 치열한 경쟁 속에서도 AI 훈련 데이터에 대한 수요는 계속 증가하고 있습니다. 특히 소프트웨어 엔지니어링, 금융, 컨설팅 분야의 수요가 가장 높고, 법률, 물리학, 화학, 수학 등 거의 모든 분야에서 전문가 데이터가 필요합니다. 심지어 핵 엔지니어와 동물 조련사까지 찾는 광고가 있을 정도예요. “인간 전문 지식의 모든 구석구석이 필요하다”는 말이 현실이 되고 있습니다.
AI 데이터 산업의 미래: ‘일반 기술’로의 전환인가?
일부에서는 막대한 지출에도 불구하고 AI 모델이 ‘일반화’ 능력을 쉽게 갖추지 못하는 현상에 주목합니다. 즉, 수학과 회계 학습 후 세법에 대한 추가 훈련 없이 바로 세금 업무를 처리할 수 있어야 하는데, 현실은 그렇지 않다는 거죠. 오히려 특정 응용 프로그램에 맞춰진 맞춤형 데이터 세트에서 개선이 이루어지고 있습니다.
이러한 관점에서 AI는 ‘컴퓨터 신’이 아닌 ‘일반 기술’에 가까울 수 있습니다. 증기기관이나 인터넷처럼 혁신적이지만, 특정 작업을 자동화하려면 계속해서 새로운 데이터를 구매해야 하는 기술인 거죠. AI 랩들은 가능한 한 빨리 ‘초지능’에 도달하기를 원하지만, 실제로는 강화 학습의 일반화 한계 때문에 최적화해야 할 모든 것에 대한 평가(evals)를 구축하는 데 투자를 폭발적으로 늘리고 있습니다. 결국, 인간 데이터 전문가의 역할은 계속해서 중요해질 것이며, AI 데이터 어노테이터가 미래에 가장 흔한 직업 중 하나가 될 것이라는 예측도 나옵니다.
결론적으로, AI 모델이 고도화될수록 인간의 전문성이 담긴 고품질 훈련 데이터의 가치는 더욱 커지고 있습니다. AI 시대의 진정한 골드러시는 데이터 채굴과 가공에 있는지도 모릅니다. 여러분도 이런 AI 데이터 시장의 흐름을 주시하며 새로운 기회를 찾아보는 건 어떨까요?
출처: https://www.theverge.com/cs/features/831818/ai-mercor-handshake-scale-surge-staffing-companies
같이 보면 좋은 글
- 바이브 코딩의 AI 배포 문제, 셔틀이 600만 달러 투자 유치로 해결하는 5가지 방법
- [매일 등산 150일차] 귀찮은 것을 해내려면 챌린지가 답 – 등산 다이어트 챌린지 (분당 불곡산 2024-09-09)
#AI산업 #AI데이터 #AI트레이닝 #데이터경제 #AI투자 #AI비즈니스 #머커 #스케일AI #서지AI #핸드셰이크AI