티스토리 뷰
목차
AWS에서 GPU 인스턴스를 생성하려다 '용량 부족(InsufficientInstanceCapacity)' 오류를 처음 만났을 때, 저는 단순히 운이 나빴다고 생각했습니다. 그런데 이게 한 번이 아니었습니다. 알고 보니 이건 특정 개인의 문제가 아니라, 지금 AI 시대 클라우드 인프라 시장 전체가 겪고 있는 구조적 현상이었습니다. 아마존·마이크로소프트·구글이 천문학적 금액을 쏟아붓고도 '과투자 논란'에 시달리는 것처럼 보이지만, 실제 숫자를 뜯어보면 이야기가 달라집니다.
GPU 인스턴스가 안 뜨는 이유, 공급 부족이 진짜 문제입니다
혹시 클라우드 콘솔에서 GPU 서버를 띄우려다 '해당 리전에서 현재 용량을 제공할 수 없습니다'라는 메시지를 받아보신 적 있으십니까? 저는 작년에 소규모 AI 추론 서버를 구성하려다 이 벽에 정확히 부딪혔습니다. 당시엔 그냥 다른 리전을 찾아 헤맸는데, 지금 생각해보면 그게 단순한 서버 운영 문제가 아니라 시장 구조 자체가 바뀌고 있다는 신호였습니다.
하이퍼스케일러(Hyperscaler)란 아마존 AWS, 마이크로소프트 애저, 구글 클라우드처럼 전 세계 규모의 데이터 센터 인프라를 운용하며 클라우드 서비스를 제공하는 초대형 사업자를 가리킵니다. 이들의 최근 실적 발표를 보면 공통된 키워드가 하나 등장합니다. 바로 '고객 수요가 공급 용량을 초과하고 있다'는 것입니다.
구글 클라우드의 경우, 고객들이 애초에 계약한 사용량보다 평균 50% 이상 더 많은 컴퓨팅 자원을 쓰고 있다고 밝혔습니다. 마이크로소프트는 새 데이터 센터를 조기 가동하자마자 애저(Azure) 매출이 즉각 늘어났다고 했고, AWS는 앞으로 추가될 컴퓨팅 용량의 상당 부분이 2028년까지 이미 예약된 상태라고 공개했습니다. 고민이 '고객이 없어서'가 아니라 '줄 물건이 없어서'라는 뜻입니다.
AI 모델 학습에는 수백에서 수만 개의 GPU가 고속 네트워크로 촘촘히 연결된 안정적인 클러스터가 필요합니다. 여기서 GPU 클러스터(GPU Cluster)란 단순히 GPU 여러 장을 모아둔 것이 아니라, 초저지연 네트워크로 묶여 하나의 거대한 연산 단위처럼 동작하도록 구성된 서버 집합을 말합니다. AI 기업들은 이 완성된 클러스터를 원하는 날짜부터 안정적으로 쓸 수 있도록 미리 예약해야 하는 시대가 됐습니다.
- 구글 클라우드: 고객 실제 사용량이 계약량 대비 평균 50% 이상 초과
- 마이크로소프트 애저: 신규 데이터 센터 가동 즉시 매출 발생, 대기 고객 상시 존재
- AWS: 2028년까지 추가될 컴퓨팅 용량의 상당 부분이 선예약 완료 상태(출처: Amazon Investor Relations)
과거 계약이 발목을 잡는다? 컴퓨팅 부족의 역설
AI 이전의 클라우드 계약을 기억하십니까? 과거에는 기업이 범용 CPU 서버를 필요한 시간만큼 빌리고, 트래픽이 몰리면 늘리고 빠지면 줄이는 방식이 일반적이었습니다. 클라우드 사업자 입장에서 수익성의 핵심은 서버 가동률, 즉 얼마나 많은 서버를 쉬지 않고 돌리느냐였습니다. 장기 계약 고객에게는 할인을 제공하는 대신 미래 매출을 미리 확정하는 구조였습니다.
그런데 AI용 GPU 클라우드에서는 계약의 성격 자체가 달라졌습니다. 가격 약정과 용량 예약이 분리되어 운영됩니다. 구글 클라우드에서는 GPU 사용을 약정해도 그게 물리적인 용량을 보장하지 않습니다. AWS는 카파시티 블록(Capacity Block)이라는 방식을 운영하는데, 이는 미래 특정 시점에 사용할 GPU 클러스터를 선불로 예약하는 제도입니다. 쉽게 말해 호텔 객실을 1년 뒤 날짜에 미리 예약하는 것과 비슷한 개념입니다.
제가 직접 써봤는데, 이 구조의 가장 당혹스러운 부분은 '돈을 낼 의사가 있어도 자원을 못 얻는 상황'이 발생한다는 점입니다. 당시 저는 프로젝트 기간이 딱 맞는 GPU 인스턴스를 구하지 못해 결국 CPU 기반으로 임시 타협했습니다. 이 경험이 있어서인지, '이미 들어올 용량의 상당 부분이 2028년까지 예약됐다'는 AWS의 발표가 단순한 PR 문구로 들리지 않았습니다.
핵심은 3년 전에 저렴하게 장기 계약을 맺은 고객들이 지금도 그 과거 가격으로 서비스를 이용하고 있다는 점입니다. GPU 수요가 폭증한 지금, 신규 고객에게는 훨씬 높은 단가를 제시해야 하는 상황이 됐지만, 기존 계약은 만료될 때까지 그대로입니다. 결과적으로 현재 하이퍼스케일러의 매출 안에는 과거의 저가 계약과 최근의 고수요가 혼재하는 구조가 형성되어 있습니다.
계약 재가격화, 수익성이 본격 드러나는 시점
자산 운용사 아트라이디스 매니지먼트(Atreides Management)의 케빈 베이커 최고 투자 책임자는 흥미로운 주장을 제기했습니다. 하이퍼스케일러가 돈을 못 버는 게 아니라, 현재 수요가 과거 계약에 묶여 잠재력보다 적게 버는 것이라는 논리입니다. 기존 계약이 만료되고 현재의 수요 수준이 반영된 조건으로 재계약이 이루어지는 시점, 그때 비로소 진짜 수익성이 드러난다는 것입니다.
여기서 계약 재가격화(Re-pricing)란, 기존에 낮은 가격으로 묶여 있던 장기 계약이 만료된 이후 현재 시장 가격을 반영하여 새로운 단가로 계약을 갱신하는 과정을 의미합니다. 쉽게 말해 월세 계약 갱신 때 시세가 오르면 집주인이 새 가격을 제시하는 것과 같습니다. 다른 점은, 지금의 GPU 클라우드 시장은 임차인이 줄을 서서 기다리고 있다는 것입니다.
이 주장이 단순한 낙관론에 그치지 않는 근거가 있습니다. 설치된 인프라는 그대로인데 판매 단가만 올라가면 추가 하드웨어 투자 없이도 이익이 매출보다 빠르게 늘어나는 운영 레버리지(Operating Leverage) 효과가 생깁니다. 운영 레버리지란 고정 비용이 큰 사업에서 매출이 증가할 때 이익이 더 빠른 속도로 증가하는 구조를 뜻합니다. 데이터 센터는 초기 구축 비용이 크고 운영 단계에서의 한계 비용이 상대적으로 낮기 때문에, 이 효과가 강하게 나타납니다.
마이크로소프트의 경우 하드웨어와 소프트웨어 최적화를 통해 AI 워크로드 처리량을 최대 40% 개선했다고 밝혔습니다(출처: Microsoft Investor Relations). 같은 GPU로 더 많은 연산을 처리할 수 있게 됐다는 뜻인데, 이는 단위 원가 하락을 의미합니다. GPU 한 대당 처리 가능한 토큰 수가 늘어나면, 계약 가격 상승과 단위 비용 하락이 동시에 일어나는 이상적인 조합이 됩니다.
낙관론에 찬물을 끼얹는 변수들, 투자 전망의 현실
솔직히 이건 예상 밖이었습니다. 케빈 베이커의 논리는 탄탄해 보이지만, 지나치게 '공급자 우위 시장이 계속 유지된다'는 전제에 기대고 있다는 느낌을 지우기 어려웠습니다. 실제로 이 전제를 흔들 수 있는 변수가 적지 않습니다.
가장 먼저 떠오르는 건 AI 모델 효율화 속도입니다. 양자화(Quantization)는 모델의 수치 정밀도를 줄여 연산량과 메모리 사용을 낮추는 기법이고, 지식 증류(Knowledge Distillation)는 대형 모델의 능력을 소형 모델에 이전하는 방식입니다. 이런 최적화 기술이 예상보다 빠르게 발전하면, 동일한 성능을 내는 데 필요한 GPU 수 자체가 줄어들 수 있습니다. 수요의 절대량이 감소하면 공급자의 가격 협상력도 약해집니다.
두 번째는 고객사의 비용 피로감입니다. 지금은 AI 경쟁에서 뒤처지지 않으려는 공포가 지출을 밀어붙이고 있습니다. 하지만 기업들이 AI 도입으로 실질적인 ROI(Return on Investment), 즉 투자 대비 수익을 입증하지 못한다면, 가장 먼저 칼질을 당하는 항목이 클라우드 지출일 가능성이 높습니다. 제가 소규모 프로젝트를 운영할 때 가장 먼저 줄인 것도 정확히 그 부분이었습니다.
메모리와 전력 비용 상승도 수익성에 부담을 줍니다. 다만, 공급 부족이 지속된다면 높아진 원가를 신규 계약 가격에 전가할 여지는 있습니다. 결국 핵심 질문은 하나입니다. 하이퍼스케일러가 새 계약에서 비용보다 충분히 높은 가격을 받아낼 수 있는 협상력을 계속 유지할 수 있느냐, 이것입니다.
- AI 모델 양자화·증류 기술 발전 → GPU 수요 절대량 감소 가능성
- 기업 AI ROI 입증 실패 → 클라우드 지출 삭감 우선 대상
- 타 클라우드 또는 자체 인프라로의 고객 이탈 리스크
- GPU 세대교체 주기와 구형 GPU 가치 하락 속도
- 메모리·전력 등 원가 상승이 수익성에 미치는 영향
자주 묻는 질문
Q. 하이퍼스케일러가 AI에 과투자한다는 우려, 실제로 근거 있는 얘기인가요?
A. 자본 지출(Capex) 규모만 보면 과투자처럼 보일 수 있습니다. 하지만 구글·마이크로소프트·AWS의 최근 실적을 보면 신규 용량을 가동하는 즉시 소화되는 수준의 수요가 대기 중입니다. 투자를 판단할 때는 지출 규모뿐 아니라 해당 용량이 얼마나 빠르게 매출로 전환되는지, 이미 예약된 미래 물량은 얼마인지를 함께 봐야 하지 않을까요?
Q. AWS 카파시티 블록이 뭔가요? 일반 GPU 인스턴스 예약이랑 다른가요?
A. 카파시티 블록(Capacity Block)은 미래 특정 날짜와 기간을 지정해 GPU 클러스터를 선불로 통째 예약하는 방식입니다. 일반적인 예약 인스턴스가 '일정 기간 할인'에 초점이 맞춰진 것과 달리, 카파시티 블록은 물리적인 용량 자체를 사전에 확보하는 데 목적이 있습니다. AI 학습처럼 특정 날짜에 대규모 클러스터가 반드시 필요한 워크로드를 위한 제도라고 보면 됩니다.
Q. 과거 장기 계약이 만료되면 재계약 가격이 무조건 올라가나요?
A. 무조건은 아닙니다. GPU 공급이 빠르게 늘어나거나 모델 효율화로 필요한 컴퓨팅 자원이 줄어들면 재계약 단가 인상 폭은 제한될 수 있습니다. 고객사가 비용을 감당하지 못해 다른 클라우드로 이동할 가능성도 있습니다. 결국 재계약 가격은 그 시점의 공급·수요 균형이 어디에 있느냐에 달려 있습니다.
Q. 구글 클라우드 백로그 5,140억 달러, 이게 얼마나 의미 있는 숫자인가요?
A. 계약 백로그(Backlog)란 고객이 미래에 구매하기로 약속한 금액의 총합입니다. 5,140억 달러는 구글 클라우드가 확보한 미래 확정 매출의 규모를 나타냅니다. 물론 계약이 실제 매출로 전환되려면 시간이 필요하고, 일부는 해지되거나 변경될 수 있습니다. 그래도 이 규모가 의미 있는 건, 수요가 증발할 걱정보다 수요를 언제 얼마에 소화할지가 더 현실적인 고민이 됐다는 점을 보여주기 때문입니다.
결론
제 경험상 이건 좀 다릅니다. GPU 서버를 직접 구하려다 벽에 부딪혀 본 입장에서, '컴퓨팅 자원 부족'은 보고서 속 추상적인 개념이 아니라 실제로 프로젝트 일정을 바꾸게 만드는 현실적인 문제입니다. 그 경험이 있어서인지, 하이퍼스케일러의 수익 구조 변화가 단순한 재무 이야기로 들리지 않았습니다.
빅테크의 AI 투자를 자본 지출 규모만으로 판단하면 절반만 보는 것입니다. 앞으로 주목해야 할 지표는 세 가지로 보입니다. 고객의 약정량 초과 사용 추이, 신규 용량이 매출로 전환되는 속도, 그리고 기존 장기 계약이 만료되는 시점의 재계약 단가입니다. AI 수요가 현재 수준을 유지한다면, 과거 저가 계약이 하나둘 만료되는 그 시점부터 하이퍼스케일러의 진짜 수익성이 드러날 가능성이 있습니다. 다만, 그 전제를 흔들 수 있는 기술적·시장적 변수들을 함께 살피는 균형 잡힌 시각이 필요하다고 생각합니다.