TorchTPU: 구글·메타 공동 TPU 네이티브 PyTorch 백엔드 오픈소스 공개와 52% MFU 기록

2026-10-23 · AX 트렌드 · 원문 이슈 #3377
TorchTPU — TPU용 네이티브 PyTorch 백엔드, Google×Meta 공동 개발, Apache 2.0 오픈소스
TorchTPU — Google·Meta PyTorch 팀 공동 개발, PyTorch Conference 2026에서 공개

2026년 10월 20일, Google이 PyTorch Conference 2026에서 TorchTPU를 오픈소스로 공개했다. Google TPU용 네이티브 PyTorch 백엔드로, Google이 2025년 중반에 시작한 프로젝트를 Google과 Meta의 PyTorch 팀이 공동 개발한 결과물이다. 발표는 Google Cloud 블로그(Mark Lohmeyer, VP & GM AI & Computing Infrastructure · Bill Jia, VP Engineering)와 pytorch.org 블로그를 통해 나왔다 (2026-10-20).

배경은 단순하다. TPU는 10년간 TensorFlow/JAX 생태계에 묶여 있었고, PyTorch 사용자는 PyTorch/XLA의 마찰을 감수해야 했다. 같은 행사·같은 블로그 포스트에서 분산 추론 스택 llm-d 1.0(ax-trend #3369)도 함께 발표됐다 — Google이 "TPU를 PyTorch의 GPU·CPU 옆 네이티브 옵션"으로 만드는 패키지 전략이다. 밑바탕에는 CUDA 락인의 소프트웨어 비용을 낮추려는 움직임이 있다.

핵심 수치 (Google 주장). TorchTitan 경유 학습에서 Qwen 3 8B 기준 최대 52% MFU(Model Flops Utilization), 최대 8,192개 Ironwood TPU까지 거의 선형 스케일링.

해결하려는 문제: PyTorch/XLA의 마찰

기존 PyTorch/XLA(2020년 도입)는 세 가지가 아팠다. 명시적 컴파일 영역 정의 등 소스 코드의 침습적 수정이 필요했고, 컴파일 지연이 심했으며, PyTorch의 네이티브 명령형(eager) 실행을 지원하지 않았다. 분산 컴퓨팅 프리미티브 지원도 뒤처졌다.

PyTorch/XLA에서 TorchTPU로 — eager-first, .to(cuda)를 .to(tpu)로 교체하는 수준의 최소 변경
PyTorch/XLA → TorchTPU: eager 우선, PrivateUse1 위에 구축

TorchTPU는 eager 실행을 최우선으로 하고 PyTorch의 PrivateUse1 메커니즘 위에 구축됐다. 기존 PyTorch 코드는 .to("cuda") → .to("tpu") 수준의 최소 변경으로 TPU에서 동작한다. 컴파일 경로는 TorchDynamo → StableHLO → XLA로, 디버그는 eager 모드에서 하고 프로덕션 성능은 torch.compile로 전환하는 표준 PyTorch 워크플로우를 그대로 따른다.

import torch

model = load_qwen3_8b()
model = model.to("tpu")          # 기존 .to("cuda")에서 한 글자 차이
# 디버그: eager로 그대로 돌린다
loss = train_step(model, batch)
# 프로덕션: torch.compile으로 TorchDynamo → StableHLO → XLA
model = torch.compile(model)

성능 수치: 52% MFU, 8,192 칩 스케일링

주의. 아래 수치는 Google의 자체 주장으로, 독립 검증은 아직 없다. 테스트된 TPU 세대의 정확한 범위도 미디어 비교표 기준이라 미확인이다.
TorchTPU 주장 수치 — 52% MFU (Qwen 3 8B), 8,192 Ironwood TPU 근사 선형 스케일링
Google 주장 수치 (2026-10-20) — 독립 검증 전

Google이 제시한 두 축의 수치는 의미가 있다. 학습 효율 지표(MFU) 52%는 TPU가 "GPU 대비 싸지만 돌리기 어려운 칩"이라는 인식을 직접 겨냥하고, 8,192 칩 선형 스케일링은 대규모 학습 클러스터 설계에서 TPU를 1순위 후보로 올리는 근거가 된다. 둘 다 사실이라면 GPU 일변도의 학습 인프라 설계에 균열이 생긴다 — "만약"이 아직 붙지만 말이다.

생태계: 학습→서빙→온디바이스 한 줄기

서빙 스택 연동이 이번 발표의 진짜 무게다.

TorchTPU 생태계 — TorchTitan 학습, vLLM·SGLang 서빙, Hugging Face device_map=tpu 배포, LiteRT 온디바이스
학습→서빙→온디바이스를 PyTorch 단일 스택으로
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    device_map="tpu",   # Transformers v5: 한 줄로 TPU 배포
)

실무 함의

서빙 스택(vLLM·SGLang)이 TPU를 네이티브로 지원하면, 추론 비용 설계에서 GPU 일변도에서 벗어날 선택지가 생긴다. HF Transformers의 device_map="tpu" 한 줄 지원은 실험 진입 장벽을 크게 낮춘다. 온디바이스(LiteRT가 PyTorch 생태계 합류)까지 같은 흐름이라, 모델 학습→서빙→온디바이스로 이어지는 파이프라인을 PyTorch 단일 스택으로 통일하는 그림이 보인다.

이 글은 ax-trend 이슈 #3377을 바탕으로 작성됐다. 핵심 링크: Google Cloud 블로그 — TorchTPU 오픈소스 발표 (2026-10-20), pytorch.org — TorchTPU 소개 (2026-10-20). 관련 이슈: #3369 — Google·Red Hat·IBM, 분산 LLM 추론 스택 'llm-d 1.0' 출시.

성능 최적화AX Trend