AI 인프라 시장이 폭발적으로 성장하면서, 기존 GPU 서버에서 더 많은 AI 추론 성능을 끌어내는 것이 핵심 과제로 떠올랐어요. 텐서메시(Tensormesh)가 이 문제를 해결하는 혁신적인 기술로 450만 달러 시드 투자를 유치하며 주목받고 있습니다.
AI 추론 비용을 10배 절감하는 혁신 기술
텐서메시는 오픈소스 LMCache 유틸리티를 기반으로 한 상용 솔루션을 개발하고 있어요. 이 기술의 핵심은 기존에 버려지던 KV 캐시(Key-Value Cache)를 재활용하는 것인데요.
전통적인 AI 시스템에서는 각 쿼리가 끝나면 KV 캐시를 폐기했지만, 텐서메시는 이를 보존해서 유사한 작업에 재사용합니다. 마치 똑똑한 분석가가 한 번 학습한 내용을 계속 기억하고 활용하는 것과 같아요.
채팅 AI와 에이전트 시스템에 특히 효과적
이 기술은 특히 채팅 인터페이스에서 강력한 효과를 발휘해요. 대화가 진행될수록 모델이 이전 대화 내용을 계속 참조해야 하는데, 텐서메시의 시스템은 이런 반복적인 처리를 획기적으로 최적화합니다.
에이전트 시스템도 마찬가지예요. 작업 로그와 목표가 누적되면서 비슷한 패턴이 반복되는데, 이때 캐시 재활용이 큰 효과를 보여줍니다.
GPU 메모리 최적화의 핵심
GPU 메모리가 매우 귀중한 자원인 만큼, 텐서메시는 여러 저장소 계층에 데이터를 분산시켜 효율성을 극대화해요. 이를 통해 동일한 서버 부하로 훨씬 더 많은 추론 작업을 처리할 수 있습니다.
라우드 벤처스 주도의 450만 달러 투자 유치
이번 시드 투자는 라우드 벤처스(Laude Ventures)가 주도했고, 데이터베이스 분야의 선구자인 마이클 프랭클린(Michael Franklin)도 엔젤 투자자로 참여했어요.
구글과 엔비디아 같은 대기업들이 이미 LMCache를 통합하고 있다는 점도 텐서메시의 기술력을 입증하는 사례입니다.
복잡한 기술을 간편한 제품으로
텐서메시의 CEO 장준천은 “KV 캐시를 보조 저장 시스템에 유지하면서 전체 시스템 속도를 늦추지 않고 효율적으로 재사용하는 것은 매우 도전적인 문제”라고 설명했어요.
실제로 많은 AI 기업들이 이런 시스템을 구축하기 위해 20명의 엔지니어를 고용하고 3-4개월을 투자하고 있습니다. 텐서메시는 이런 복잡한 과정을 즉시 사용 가능한 제품으로 제공하려고 해요.
오픈소스에서 상용 서비스로의 전환
텐서메시의 공동창업자 이화청(Yihua Cheng)이 개발한 오픈소스 LMCache는 이미 학계에서 검증받은 기술이에요. 이제 이 학술적 명성을 바탕으로 실제 비즈니스로 발전시키는 것이 목표입니다.
AI 인프라 시장의 새로운 기회
AI 인프라 투자가 엄청난 규모로 확장되면서, 기존 하드웨어에서 최대한의 성능을 끌어내는 기술에 대한 수요가 급증하고 있어요. 텐서메시처럼 특정 기술 분야에서 전문성을 가진 연구진들에게는 절호의 기회가 되고 있습니다.
앞으로 더 많은 AI 기업들이 추론 비용 절감과 서버 효율성 향상을 위해 텐서메시 같은 전문 솔루션을 찾게 될 것으로 예상돼요.
출처: https://techcrunch.com/2025/10/23/tensormesh-raises-4-5m-to-squeeze-more-inference-out-of-ai-server-loads/