최근 인공지능 분야에서 거대 언어 모델(LLM)의 AI 스케일링 경쟁이 뜨겁습니다. 하지만 컴퓨팅 자원을 무한정 투입하는 방식에 대한 회의론이 고개를 들고 있는데요. 비용 효율적이고 실제 환경에 빠르게 적응하는 새로운 AI 모델 개발에 전 Cohere AI 연구 책임자 사라 후커가 뛰어들었답니다. 과연 어떤 새로운 AI의 미래가 펼쳐질까요?
거대 AI 모델, 스케일링의 그림자
오늘날 AI 연구소들은 맨해튼 크기의 데이터 센터를 짓기 위해 수십억 달러를 쏟아붓고 있어요. 이 노력은 ‘스케일링’이라는 깊은 신념에서 비롯됩니다. 기존 AI 훈련 방식에 더 많은 컴퓨팅 파워를 더하면 결국 모든 종류의 작업을 수행할 수 있는 초지능 시스템을 얻을 수 있다는 믿음이죠. 하지만 점점 더 많은 AI 연구자들은 거대 언어 모델(LLM)의 AI 스케일링이 한계에 도달하고 있으며, AI 성능 향상을 위해 다른 혁신이 필요하다고 말하고 있답니다.
사라 후커의 ‘적응형 AI’ 비전
Cohere의 전 AI 연구 부사장인 사라 후커(Sara Hooker)는 구글 브레인(Google Brain) 출신으로, 이제 새로운 스타트업인 ‘어댑션 랩스(Adaption Labs)’를 통해 스케일링 경쟁에 반기를 들고 있어요. 그녀는 동료인 수딥 로이(Sudip Roy)와 함께 어댑션 랩스를 공동 설립했는데요. LLM 스케일링이 AI 모델에서 더 나은 성능을 끌어내는 비효율적인 방법이 되었다는 아이디어에 기반을 두고 있습니다. 어댑션 랩스는 실시간 경험에서 지속적으로 학습하고 적응하는 적응형 AI 시스템을 극도로 효율적으로 구축하는 것을 목표로 하고 있답니다.
‘발가락 찧는’ AI: 현재 AI 학습의 한계
사라 후커에 따르면, 적응은 학습의 ‘핵심’이랍니다. 예를 들어, 식탁을 지나다가 발가락을 찧으면 다음번에는 더 조심해서 걷는 법을 배우게 되죠. AI 연구소들은 강화 학습(RL)을 통해 이 아이디어를 포착하려고 노력해왔어요. 하지만 오늘날의 강화 학습 방법은 이미 고객이 사용하고 있는 프로덕션 환경의 AI 모델이 실시간으로 실수로부터 배우는 데 도움이 되지 않습니다. 그저 계속 발가락을 찧을 뿐이죠. 일부 AI 연구소는 기업이 맞춤형 요구에 맞춰 AI 모델을 미세 조정할 수 있도록 컨설팅 서비스를 제공하지만, 그 비용이 엄청나답니다. 오픈AI는 고객이 미세 조정 컨설팅 서비스를 받으려면 회사에 천만 달러 이상을 지출해야 한다고 알려져 있어요.
AI 스케일링 신화, 흔들리는 조짐들
어댑션 랩스의 등장은 LLM 스케일링에 대한 업계의 믿음이 흔들리고 있다는 최신 신호입니다. MIT 연구진의 최근 논문에서는 세계에서 가장 큰 AI 모델들이 곧 수익 체감 현상을 보일 수 있다고 밝혔는데요. 샌프란시스코의 분위기도 바뀌는 모습이에요. AI 세계에서 가장 유명한 팟캐스터 드와르케쉬 파텔(Dwarkesh Patel)은 최근 유명 AI 연구자들과 다소 회의적인 대화를 나누기도 했답니다. ‘강화 학습의 아버지’로 불리는 튜링상 수상자 리처드 서튼(Richard Sutton)은 LLM이 실제 경험에서 배우지 못하기 때문에 진정으로 AI 스케일링 될 수 없다고 말했어요.
더 효율적인 AI의 미래를 위한 베팅
2024년 말, 일부 AI 연구자들은 사전 학습을 통한 AI 모델 스케일링이 수익 체감에 부딪히고 있다는 우려를 제기하기도 했었죠. 하지만 2025년에는 AI 추론 모델에 대한 돌파구 덕분에 AI 모델의 능력이 더욱 발전했답니다. 그럼에도 AI 연구소들은 여전히 강화 학습과 AI 추론 모델의 스케일링이 새로운 개척지라고 확신하는 것처럼 보여요. 메타와 피리어딕 랩스(Periodic Labs) 연구진은 최근 강화 학습이 성능을 얼마나 더 스케일링할 수 있는지 탐구하는 논문을 발표했는데, 이 연구에 4백만 달러 이상이 들었다고 알려졌어요. 이는 현재 접근 방식이 여전히 얼마나 비싼지를 잘 보여줍니다.
어댑션 랩스는 이와 대조적으로, 경험에서 배우는 것이 훨씬 저렴할 수 있다는 것을 증명하며 다음 혁신을 찾으려 한답니다. 후커는 코히어 랩스(Cohere Labs)를 이끌면서 기업용 소형 AI 모델을 훈련시킨 경험이 있어요. 실제로 소형 AI 시스템은 코딩, 수학, 추론 벤치마크에서 종종 더 큰 시스템을 능가하는 추세를 보인답니다. 후커와 어댑션 랩스가 AI 스케일링의 한계에 대해 옳다면, 그 파급 효과는 엄청날 거예요. 적응형 학습이 더 강력할 뿐만 아니라 훨씬 더 효율적이라는 것이 입증된다면, AI의 통제권을 쥐고 AI가 궁극적으로 누구를 위한 것인지를 결정하는 역학 관계를 완전히 바꿀 수 있을 테니까요.
AI 스케일링 경쟁의 한계와 새로운 적응형 AI의 등장은 AI 기술의 미래를 어떻게 바꿀까요? 여러분은 어떤 AI 발전 방향이 더 중요하다고 생각하시나요? 댓글로 의견을 나눠주세요!