Disaggregated Inference 혁명: AWS-세레브라스 vs 엔비디아-Groq 2026 AI 추론 아키텍처 전쟁과 254억달러 투자 전략

시장분석

AI 추론 시장이 2026년 500억달러 규모로 폭발하는 지금, 당신의 포트폴리오는 어느 진영에 서 있는가?

2026년 3월 GTC와 AWS-세레브라스 협력 발표는 AI 인프라 시장의 판도를 바꾸고 있다. AI 추론 시장은 2026년 1,178억달러에서 2034년 3,126.4억달러로 성장하며(CAGR 12.98%, Fortune Business Insights), 추론 전용 칩 시장만 2026년 500억달러를 돌파한다(Deloitte). AWS-세레브라스는 Prefill-Decode 분리형 아키텍처로 5배 성능을 확보했고, 엔비디아는 Groq 3 LPU로 35배 처리량 우위를 내세운다. 투자자는 세레브라스 IPO(밸류에이션 70-220억달러), 엔비디아의 1조달러 매출 전망, 클라우드 빅3의 자체 칩 경쟁을 동시에 추적해야 한다.

Disaggregated Inference 핵심 개념: Prefill-Decode 분리가 바꾸는 AI 추론 효율

AI 추론(Inference)은 2023년 전체 AI 워크로드의 33%에 불과했다. 2026년 현재 이 비중은 67%로 급증했다(Deloitte). ChatGPT 같은 생성형 AI 서비스가 대중화되면서 “모델을 학습하는 시간”보다 “사용자 질문에 답하는 시간”이 압도적으로 늘었기 때문이다.

기존 GPU는 학습(Training)과 추론을 모두 처리하도록 설계됐다. 추론에는 과잉 스펙이다. 여기서 Disaggregated Inference(분리형 추론)가 등장한다. 추론 과정을 두 단계로 나눈다.

Prefill과 Decode: 왜 분리해야 하는가

Prefill 단계는 사용자가 입력한 프롬프트를 처리한다. “오늘 날씨 알려줘”라는 질문을 받으면, 모델은 이 문장 전체를 동시에 병렬 연산한다. 연산 집약적(Compute-intensive)이다.

Decode 단계는 출력 토큰을 하나씩 생성한다. “오늘”, “서울의”, “날씨는”, “맑습니다” 순으로 단어를 만든다. 메모리 대역폭 집약적(Memory-intensive)이다. GPU는 각 토큰마다 전체 모델 가중치를 메모리에서 읽어야 한다.

이 두 단계는 정반대 성격이다. Prefill은 GPU의 병렬 연산 능력을 100% 쓴다. Decode는 메모리 속도에 발목이 잡힌다. 하나의 칩으로 둘을 처리하면 둘 다 비효율적이다.

2026년 시장 데이터가 말하는 추론 중심 전환

AI 추론 인프라 지출 비중은 2026년 초 55%에서 연말 70-80%로 급증할 전망이다(Gartner). 데이터센터 AI 워크로드 전력 96GW 중 AI가 44GW를 소비하는데, 이 중 80-90%가 추론용이다(IEA). 학습은 한 번, 추론은 수백만 번 반복된다. ChatGPT가 하루 사용자 질문 1억 건을 처리한다면, 모델 학습은 분기 1회다.

AWS-세레브라스 협력은 이 전환을 상징한다. AWS는 Prefill을 자체 칩 Trainium에, Decode를 세레브라스 WSE-3에 맡긴다. 동일 하드웨어 공간에서 5배 토큰 처리 용량을 확보했다(AWS 보도자료, 2026.3).

핵심: Disaggregated Inference는 “분업”이다. 연산 칩과 메모리 칩을 나눠 각자 최적화하면, 같은 비용으로 5배 성능을 낸다.

AWS-세레브라스 협력 vs 엔비디아-Groq 전략: 5배 성능 vs 35배 처리량 격돌

2026년 3월, AI 인프라 시장에 두 개의 대립 축이 형성됐다. AWS-세레브라스는 “클라우드 통합형”, 엔비디아는 “전용 칩 플랫폼”을 내세운다.

AWS-세레브라스: Trainium + WSE-3 분업 모델

AWS는 Prefill 단계에 Trainium을 배치했다. Trainium은 연산 집약적 작업에 최적화된 AWS 자체 AI 칩이다. 앤트로픽은 2026년 Trainium 2칩 100만개 이상을 Project Rainier 클러스터에 투입했다. 오픈AI도 1,100억달러 펀딩의 일환으로 Trainium 실리콘 2기가와트를 계약했다(Tom’s Hardware, 2026.3).

세레브라스 WSE-3는 Decode 단계를 전담한다. 웨이퍼 규모 칩(Wafer-Scale Engine)으로, 메모리 대역폭이 초당 27페타바이트다. Decode는 토큰 하나를 생성할 때마다 모델 파라미터 전체를 메모리에서 읽는다. WSE-3는 이 병목을 제거한다.

결과? Amazon Bedrock에 2026년 하반기 통합 예정이며, 오픈소스 LLM과 Amazon Nova를 지원한다(AWS 보도자료, 2026.3.13).

엔비디아 Groq 3 LPU: 블랙웰 대비 35배 처리량

엔비디아는 GTC 2026 키노트에서 Groq 3 LPX를 공개했다. 추론 전용 칩(Language Processing Unit)으로, SRAM 메모리를 탑재해 메모리 대역폭을 22~150TB/s까지 확보한다. 블랙웰 NVL72 대비 35배 높은 처리량을 내며, 초당 500토큰, 100만 토큰당 비용 45달러다(엔비디아 GTC 2026, 2026.3).

젠슨 황은 “베라 루빈 플랫폼”의 일부로 Groq 3를 배치했다. 베라 루빈은 72개 루빈 GPU + 36개 베라 CPU로 구성되며, 랙당 가격 350-400만달러로 추정된다(Futurum Group, 2026.3). 삼성 파운드리가 4nm 공정으로 양산 중이며, 3분기 출하 예정이다. 마이크로소프트 Azure 데이터센터에 첫 랙이 설치됐다(헤럴드경제, 2026.3.17).

성능 비교표: 두 진영의 핵심 지표

기술 구조를 살펴봤다면, 이제 시장 경쟁 구도를 분석한다.

2026 AI 추론 시장 254억달러 주도권 전쟁: 구글 TPU·MS 마이아 200 경쟁 구도

AI 추론 시장은 2025년 1,061.5억달러에서 2030년 2,549.8억달러로 성장한다(CAGR 19.2%, MarketsandMarkets). 이 중 추론 전용 칩 시장만 2026년 500억달러를 돌파했다(Deloitte). 클라우드 빅3(AWS, 마이크로소프트, 구글)는 엔비디아 의존도를 줄이기 위해 자체 칩 개발에 수십억 달러를 투입 중이다.

구글 TPU 아이언우드: 앤트로픽 100만 칩 계약의 의미

구글은 2025년 11월 7세대 TPU 아이언우드를 GA(General Availability) 발표했다. 추론 전용 설계로, Trillium 대비 2배 와트당 성능을 낸다. 최대 9,216칩 스케일 시 42.5엑사플롭스, 칩당 4,614테라플롭스·192GB HBM·7.2TB/s 대역폭이다(Google Cloud, 2025.11).

앤트로픽은 2026년부터 구글 클라우드 TPU 100만개 이상을 배포 계획이다. 1기가와트 이상 용량이다(SemiAnalysis, 2026.3). 앤트로픽은 멀티 클라우드 전략을 쓴다. AWS Trainium 100만개 + 구글 TPU 100만개다. 단일 벤더 종속을 회피하며 협상력을 유지한다.

마이크로소프트 마이아 200: FP4 10페타플롭스의 도전

마이크로소프트는 2026년 1월 마이아 200을 발표했다. 140억개 트랜지스터, TSMC 3nm 공정, 216GB HBM3e 탑재다. FP4 기준 10페타플롭스 이상으로, AWS Trainium 3세대 대비 3배 성능을 주장한다(Microsoft, 2026.1.26). Azure에 배포 중이며, 기존 하드웨어 대비 30% 비용 효율 개선을 확인했다.

SemiAnalysis 분석에 따르면, 마이아 200은 구글 TPU 7세대와 FP8 성능에서 팽팽하다. 하지만 생태계 차이가 있다. 구글은 TensorFlow와 JAX로 수년간 최적화했다. 마이크로소프트는 PyTorch 중심이지만, ONNX Runtime으로 추론 최적화를 강화 중이다.

엔비디아 점유율 하락: 80% → 75% 의미

엔비디아 AI 칩 시장점유율은 2024-2025년 80-90%에서 2026년 약 75%로 소폭 하락했다(Silicon Analysts, 2026). 절대 점유율은 여전히 압도적이다. 방향은 명확하다. 클라우드 빅3의 자체 칩이 시장 일부를 잠식한다.

엔비디아는 데이터센터 부문 매출이 2026년 1,300억달러 이상이며, 2027년까지 누적 1조달러를 돌파할 전망이다(Bloomberg, 2026.3). 젠슨 황은 GTC 2026 키노트에서 “2025-2027년 최소 1조달러(약 1,427조원) 매출, AI 컴퓨팅 수요 100만배 증가”를 언급했다. 점유율 하락보다 시장 전체 성장이 빠르다.

투자 관점: 엔비디아는 점유율을 잃지만 절대 매출은 폭증한다. 클라우드 빅3는 자체 칩으로 마진을 지킨다. 세레브라스는 틈새에서 IPO 모멘텀을 노린다.

클라우드 빅3 전략 비교표

숫자를 확인했으니, 이제 판단의 근거를 정리한다.

투자자 관점 분석: 세레브라스 IPO·엔비디아 밸류에이션·클라우드 빅3 포트폴리오 전략

AI 추론 시장은 2026년 전환점에 있다. 투자자는 세 가지 질문에 답해야 한다. 세레브라스 IPO에 베팅할 것인가? 엔비디아의 고밸류에이션을 신뢰할 것인가? 클라우드 빅3 중 누가 자체 칩 전쟁에서 이길 것인가?

세레브라스 IPO: 70-220억달러 밸류에이션의 근거

세레브라스는 2026년 2월 시리즈H 펀딩에서 밸류에이션 230억달러를 기록했다. IPO 목표가는 70-220억달러로 추정된다(Capital.com/EBC Financial, 2026.2). AWS 협력이 핵심 모멘텀이다. Amazon Bedrock 통합은 세레브라스에게 클라우드 네이티브 시장 접근권을 준다.

리스크는 명확하다. 세레브라스는 단일 고객(AWS) 의존도가 높다. WSE-3는 범용 칩이 아니라 Decode 전용이다. 엔비디아처럼 학습+추론 겸용 시장을 공략할 수 없다. 밸류에이션 70억달러는 보수적, 220억달러는 낙관적 시나리오다.

엔비디아 밸류에이션: 1조달러 매출이 정당화하는가

엔비디아는 2026년 데이터센터 매출 1,300억달러 이상, 2027년까지 누적 1조달러를 전망한다. 베라 루빈 플랫폼은 블랙웰 울트라 대비 추론 성능 3.3~5배, 토큰 비용 10배 절감을 내세운다(엔비디아 GTC 2026, 2026.3). NVL72 랙 가격 350-400만달러는 클라우드 업체에게 큰 부담이지만, 대안이 없다.

자체 칩(Trainium, TPU, 마이아)은 2026년 전체 AI 칩 시장의 25% 수준이다. 나머지 75%는 엔비디아다. 엔터프라이즈 고객은 여전히 CUDA 생태계에 묶여 있다. Lambda, CoreWeave, Nebius는 베라 루빈 기반 인스턴스를 2026년 하반기 배포 예정이다(NVIDIA, 2026.3).

클라우드 빅3 포트폴리오 전략: 누가 이길 것인가

AWS는 하이브리드 전략을 쓴다. Trainium으로 Prefill을 처리하고, 엔비디아 GPU·세레브라스 WSE를 Bedrock에서 동시 제공한다. 고객에게 선택권을 준다. 앤트로픽과 오픈AI가 대규모 계약을 체결한 이유다.

구글은 TPU 생태계를 10년 이상 구축했다. TensorFlow, JAX, Gemini 모델이 모두 TPU 최적화다. 앤트로픽이 100만 칩을 계약한 것은 TPU의 추론 성능을 인정한 결과다. 외부 고객 유치는 여전히 약하다.

마이크로소프트는 마이아 200과 Groq 3를 병행한다. Azure는 오픈AI GPT 서비스의 백본이다. 오픈AI GPT-5.4 mini·nano(2026.3.17 출시)는 레이턴시 최적화 모델이다. 추론 수요 급증 시그널이며, 마이아 200의 타겟 시장이다.

시나리오별 투자 전략

• 낙관 시나리오 (AI 추론 수요 연 30%+ 성장): 엔비디아 중심 포트폴리오. 베라 루빈 플랫폼이 2027년까지 데이터센터 매출 1조달러를 견인. 세레브라스 IPO 참여로 고위험 고수익 추가.
• 중립 시나리오 (AI 추론 CAGR 19%, 시장 전망치 유지): 엔비디아 50% + AWS/구글/마이크로소프트 각 15-20% 분산. 클라우드 빅3는 자체 칩으로 마진 방어, 엔비디아는 절대 물량 유지.
• 비관 시나리오 (자체 칩 점유율 40%+, 엔비디아 마진 압박): 클라우드 빅3 중심 포트폴리오. AWS는 Trainium 계약 확대, 구글은 TPU 외부 판매 강화, 마이크로소프트는 오픈AI 독점 공급.

이론은 충분하다. 구체적인 실행법으로 넘어가자.

실전 포트폴리오 예시 (월 100만 원 투자 기준)

1. 엔비디아 50만 원: 베라 루빈 출시(2026년 하반기) 전후 실적 모멘텀 포착. 목표 보유 기간 3년.
2. AWS(아마존) 20만 원: Trainium 계약 확대(앤트로픽, 오픈AI) + Bedrock 매출 성장. Bedrock ARR(연간 반복 매출)을 분기 실적에서 추적.
3. 구글 15만 원: TPU 아이언우드 외부 판매 확대 여부 모니터링. 앤트로픽 계약 갱신 뉴스가 핵심 변수.
4. 마이크로소프트 15만 원: Azure AI 매출(오픈AI GPT + 마이아 200 통합) 성장률 확인. Copilot 유료 전환율이 보조 지표.

세레브라스 IPO는 공모가 확정 후 밸류에이션을 재평가한다. 70억달러 이하면 소액 참여, 220억달러 상단이면 상장 후 6개월 추이 관찰.

자주 묻는 질문

Disaggregated Inference란 무엇인가요?

AI 추론 과정을 Prefill(프롬프트 처리)과 Decode(출력 생성) 단계로 분리해 각각 최적화된 칩으로 처리하는 아키텍처다. Prefill은 연산 집약적이므로 GPU나 Trainium 같은 칩을, Decode는 메모리 대역폭 집약적이므로 세레브라스 WSE-3 같은 칩을 사용한다. AWS-세레브라스 협력이 대표 사례로, 동일 공간에서 5배 토큰 처리 용량을 확보했다(AWS, 2026.3).

세레브라스 IPO에 투자해도 될까요?

밸류에이션과 AWS 의존도를 먼저 확인하세요. 2026년 2월 기준 목표가는 70-220억달러입니다(Capital.com, 2026.2). 70억달러 하단이면 합리적이지만, 200억달러 이상이면 고평가 리스크가 큽니다. WSE-3는 Decode 전용이라 범용성이 낮고, Amazon Bedrock 통합(2026년 하반기)이 핵심 모멘텀입니다. 소액으로 참여하되 상장 후 6개월 실적을 추적하는 전략을 권장합니다.

엔비디아와 AWS 중 어디에 투자해야 하나요?

둘 다 다른 역할입니다. 엔비디아는 AI 칩 시장 75% 점유율로 절대 물량을 지배하며, 2026년 데이터센터 매출 1,300억달러 이상 전망입니다(Bloomberg, 2026.3). AWS는 Trainium으로 자체 칩 생태계를 구축하며 앤트로픽·오픈AI 대규모 계약을 확보했습니다. 리스크 분산을 원한다면 엔비디아 50% + AWS 20% 포트폴리오를, 고성장을 추구한다면 엔비디아 집중을 고려하세요.

구글 TPU와 마이크로소프트 마이아 200의 차이는 뭔가요?

구글 TPU 아이언우드(7세대)는 최대 9,216칩 스케일 시 42.5엑사플롭스, 칩당 192GB HBM·7.2TB/s 대역폭입니다(Google Cloud, 2025.11). 마이크로소프트 마이아 200은 FP4 기준 10페타플롭스 이상, 216GB HBM3e로 AWS Trainium 3세대 대비 3배 성능을 주장합니다(Microsoft, 2026.1). TPU는 TensorFlow 생태계 최적화가 강점이고, 마이아는 Azure 내부 통합과 30% 비용 효율 개선이 차별점입니다. 외부 고객 유치는 TPU가 앞서지만(앤트로픽 100만칩), Azure는 오픈AI GPT 독점 공급으로 내부 수요를 확보했습니다.

2026년 AI 추론 시장에서 가장 큰 변수는 뭐예요?

클라우드 자체 칩의 점유율 상승 속도입니다. 2026년 추론 전용 칩 시장은 500억달러이며(Deloitte, 2026), 엔비디아 점유율은 75%로 소폭 하락했습니다(Silicon Analysts, 2026). AWS Trainium, 구글 TPU, 마이크로소프트 마이아가 연간 20% 이상 점유율을 확대하면 엔비디아 마진에 압박이 올 수 있습니다. 반대로 베라 루빈 플랫폼(블랙웰 대비 35배 처리량)이 예상을 초과하면 엔비디아는 2027년 1조달러 매출을 조기 달성할 수 있습니다. 2026년 하반기 Bedrock·베라 루빈 출시 후 분기 실적이 판단 기준입니다.

본 콘텐츠는 투자 정보 제공을 목적으로 작성되었으며, 특정 금융상품에 대한 투자 자문이 아닙니다. 모든 투자 판단과 그에 따른 결과는 투자자 본인의 책임이며, 투자 전 전문가 상담을 권장합니다.

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.