AI 기술이 급부상하면서, 데이터 저장 방식도 혁신을 요구하고 있습니다. 특히 방대한 AI 워크로드를 효율적으로 처리하기 위한 분산 데이터 저장의 중요성이 날마다 커지고 있는데요. 기존 중앙 집중형 클라우드 스토리지의 한계를 뛰어넘어, 비용 효율성과 성능, 그리고 데이터 주권까지 확보할 수 있는 분산 스토리지의 매력을 지금부터 함께 알아볼까요?
AI 시대, 분산 데이터 저장이 필수가 된 3가지 이유
최근 AI 기업들의 폭발적인 성장은 컴퓨팅 파워뿐만 아니라 데이터 저장 방식에도 새로운 요구를 불러왔습니다. 기존 AWS, 구글 클라우드, 마이크로소프트 애저와 같은 빅클라우드 서비스들은 자사의 컴퓨팅 자원에 최적화된 저장 시스템을 제공했지만, AI 시대의 분산 컴퓨팅 환경과는 다소 거리가 있었죠.
타이그리스 데이터의 공동 설립자이자 CEO인 오베이스 타리크는 “현대의 AI 워크로드와 AI 인프라는 빅클라우드 대신 분산 컴퓨팅을 선택하고 있습니다. 스토리지가 없으면 컴퓨팅도 없기 때문에, 우리는 저장 시스템에도 동일한 옵션을 제공하고자 합니다”라고 말합니다. 이는 방대한 양의 데이터를 빠르고 유연하게 처리해야 하는 AI 워크로드에 분산 데이터 저장이 필수적임을 시사합니다.
빅클라우드의 숨겨진 덫: 이그레스 요금과 속도 지연의 불편함
빅클라우드 서비스가 가진 가장 큰 문제점 중 하나는 바로 ‘이그레스 요금’입니다. 이는 고객이 데이터를 다른 클라우드 제공업체로 마이그레이션하거나, 데이터를 다운로드하여 이동하려 할 때 부과되는 추가 비용을 말하는데요. 업계에서는 이를 ‘클라우드 세금’이라고 부르기도 합니다. 마치 헬스장을 그만두려는데 추가 요금을 내야 하는 것과 비슷하죠.
타이그리스의 고객인 Fal.ai의 엔지니어링 책임자 바투한 타스카야는 한때 클라우드 지출의 대부분이 이그레스 요금으로 발생했다고 말합니다. 이그레스 요금 외에도 지연 시간(latency) 문제도 심각한데요. 타리크는 “이그레스 요금은 더 깊은 문제의 한 가지 증상일 뿐입니다. 중앙 집중식 스토리지는 분산되고 고속의 AI 생태계를 따라잡을 수 없습니다”라고 지적했습니다. 수십억 개의 작은 파일을 처리하고 저지연 액세스를 제공해야 하는 현대 AI 워크로드에는 기존의 방식이 적합하지 않다는 의미입니다.
AI 워크로드 성능을 극대화하는 저지연 액세스의 마법
대부분의 타이그리스 고객은 이미지, 비디오, 음성 모델을 구축하는 생성형 AI 스타트업입니다. 이들은 대용량이면서 지연 시간에 민감한 데이터셋을 다루죠. 타리크는 “로컬 오디오 AI 에이전트와 대화하는 상황을 상상해보세요. 가장 낮은 지연 시간을 원할 것입니다. 컴퓨팅 자원도 로컬에 가까이 있어야 하고, 저장 공간도 로컬에 있어야 합니다”라고 강조합니다.
빅클라우드는 AI 워크로드에 최적화되어 있지 않습니다. 방대한 데이터셋을 스트리밍하거나 여러 지역에서 실시간 추론을 실행할 때 지연 병목 현상이 발생하여 모델 성능을 저하시킬 수 있죠. 하지만 로컬 저장 공간에 액세스하면 데이터를 더 빠르게 검색할 수 있어, 개발자들이 분산형 클라우드를 사용하여 AI 워크로드를 안정적이고 비용 효율적으로 실행할 수 있게 됩니다. Fal.ai의 타스카야는 “타이그리스 덕분에 이그레스 요금 없이 모든 클라우드에서 동일한 데이터 파일 시스템에 액세스하여 워크로드를 확장할 수 있게 되었습니다”라고 덧붙였습니다.
데이터 주권 확보와 강화된 보안: 분산 스토리지의 또 다른 강점
기업들이 분산형 클라우드 옵션과 더 가까운 곳에 데이터를 두려는 또 다른 중요한 이유가 있습니다. 바로 데이터 보안이죠. 특히 금융이나 헬스케어와 같이 규제가 엄격한 분야에서는 데이터 보안 문제가 AI 도구 채택에 큰 걸림돌이 됩니다.
또한, 기업들은 점점 더 자신들의 데이터 소유권을 중요하게 생각하고 있습니다. 세일즈포스가 올해 초 슬랙 데이터를 AI 경쟁사들이 사용하는 것을 차단한 사례처럼 말이죠. 타리크는 “기업들은 데이터가 얼마나 중요한지, LLM과 AI를 어떻게 구동하는지 점점 더 인식하고 있습니다. 그들은 더 많은 통제권을 원하고, 다른 누군가가 그것을 통제하는 것을 원치 않습니다”라고 설명합니다. 분산 스토리지는 이러한 데이터 주권과 보안을 강화하는 데 핵심적인 역할을 할 수 있습니다.
타이그리스 데이터, 빅클라우드에 도전장을 내밀다
타이그리스 데이터는 우버의 저장 플랫폼을 개발했던 팀이 설립한 스타트업으로, 현대 AI 워크로드의 분산 컴퓨팅 요구를 충족할 수 있는 로컬 데이터 저장 센터 네트워크를 구축하고 있습니다. 타이그리스의 AI 네이티브 저장 플랫폼은 컴퓨팅 자원과 함께 이동하며, 데이터가 GPU가 있는 곳으로 자동으로 복제되고, 수십억 개의 작은 파일을 지원하며, 훈련, 추론, 에이전트 워크로드에 대한 저지연 액세스를 제공한다고 타리크는 설명합니다.
타이그리스는 이러한 노력을 인정받아 최근 스파크 캐피탈 주도로 2,500만 달러 규모의 시리즈 A 투자를 유치했습니다. 이는 엔드리슨 호로위츠를 포함한 기존 투자자들의 참여도 이끌어냈죠. 현재 버지니아, 시카고, 산호세에 3개의 데이터 센터를 운영 중이며, 미국뿐만 아니라 런던, 프랑크푸르트, 싱가포르 등 유럽과 아시아로의 확장을 계획하고 있습니다.
미래를 위한 현명한 선택: AI 시대 데이터 저장 전략
AI 기술의 발전은 데이터 저장 방식의 혁신을 요구하고 있습니다. 중앙 집중형 스토리지의 한계를 인식하고 분산 스토리지로 전환하는 것은 단순히 비용을 절감하는 것을 넘어, AI 워크로드의 성능을 극대화하고 데이터 주권을 강화하는 핵심적인 전략이 될 것입니다. 유연하고 효율적인 데이터 관리는 AI 시대에 성공적인 비즈니스를 이끌어가는 데 필수적인 요소가 될 것이며, 분산 데이터 저장 솔루션은 이러한 변화에 적극적으로 대응할 수 있는 강력한 도구가 되어줄 것입니다. 여러분의 비즈니스도 이러한 변화에 맞춰 새로운 데이터 전략을 모색하고 계신가요?
출처: https://techcrunch.com/2025/10/09/this-distributed-data-storage-startup-wants-to-take-on-big-cloud/