구글 TPU나 AWS Trainium을 써보고 싶어도, 익숙한 PyTorch 코드와 개발 환경을 크게 바꿔야 한다면 전환은 쉽지 않다. 구글의 TorchTPU와 아마존의 TorchNeuron은 이 부담을 줄이려는 네이티브 PyTorch 백엔드다. 각각 구글 TPU와 AWS Trainium을 PyTorch에서 직접 선택할 수 있게 해, 별도 프레임워크로 옮기지 않고도 다른 AI 칩을 시험해볼 수 있도록 한다.
9
10
다만 ‘코드를 거의 바꾸지 않아도 된다’는 말이 모든 모델의 완전한 호환이나 엔비디아 GPU와의 동등한 성능을 보장하는 것은 아니다. 실제 지원 여부와 최적화 정도는 사용하는 모델과 실행 방식에 따라 달라진다.
17
28
PyTorch에서 다른 칩으로 가는 경로
PyTorch 기반 AI 애플리케이션은 엔비디아 GPU를 기본 실행 대상으로 삼는 경우가 많았다. 이 때문에 경쟁사 칩이 있어도 소프트웨어 환경을 다시 맞춰야 하는 점이 개발자의 선택을 어렵게 하는 요인으로 꼽혀 왔다.
4
- TorchTPU는 구글 TPU용 오픈소스 네이티브 PyTorch 백엔드다. 구글은 메타와 협력해 개발한 이 프로젝트를 2026년 10월 20일 공개했다.
10
- TorchNeuron은 AWS Trainium용 오픈소스 네이티브 PyTorch 백엔드다. 아마존은 10월 19일 프로젝트를 발표했고, PyTorch 측 안내에 따르면 10월 20일 공개 베타가 시작됐다.
2
9
두 프로젝트의 핵심은 PyTorch를 다른 개발 환경으로 통째로 옮기기보다, 코드가 실행될 하드웨어를 바꾸기 쉽게 만드는 것이다. 아마존은 기존 코드를 설정 변경만으로 Trainium에서 실행할 수 있다고 설명하며, AWS 문서에서는 TorchNeuron의 장치 이름으로 neuron을 안내한다.
2
28
개발·디버깅부터 컴파일까지
새 백엔드는 칩을 인식시키는 것만으로 충분하지 않다. 애플리케이션이 사용하는 연산과 개발 도구를 지원해야 실제로 전환할 수 있다. TorchNeuron은 연구와 디버깅에 쓰이는 이거(eager) 실행, 컴파일 실행을 위한 torch.compile, 사용자 정의 커널을 지원한다. 사용자 정의 커널 기능은 Trainium2와 Trainium3에서 Neuron Kernel Interface를 통해 제공된다.
9
TorchTPU는 이거 모드에서의 연산자 융합, torch.compile 연동, 동적 입력 크기 처리를 위한 경계 설정, 사용자 정의 커널 API 등을 제공한다고 구글 문서는 설명한다.
17 개발자가 PyTorch를 계속 사용하면서 TPU에 맞춰 실행과 성능을 조정할 수 있도록 하는 구성이다.
‘쉽게 옮긴다’고 ‘그대로 다 된다’는 뜻은 아니다
호환성은 모델과 연산에 따라 달라진다. 백엔드가 지원하지 않는 연산이나 작업 흐름이 포함돼 있다면 코드 수정이 필요할 수 있다. 공개된 문서에는 각 프로젝트의 기능이 정리돼 있지만, 모든 PyTorch 모델과 외부 구성요소가 수정 없이 동작한다고 보장하지는 않는다.
17
28
하드웨어를 바꾸기 쉬워져도 성능 조정은 남는다. TorchTPU가 연산자 융합과 컴파일 기능을 제공한다는 점은 성능 최적화가 백엔드별로 중요하다는 것을 보여준다.
17 제공된 자료만으로는 TorchTPU나 TorchNeuron이 모든 작업에서 엔비디아 GPU와 비슷한 성능을 낸다고 단정할 수 없다.
동적 입력 크기 지원 방식도 확인해야 한다. TorchTPU는 ‘경계가 있는 동적성(bounded dynamism)’ 방식을 설명한다. 컴파일 시점에 동적 차원의 상한을 정하고, 실제 입력 크기는 실행 중 추적하는 방식이다.
18 그렇다고 모든 동적 입력 작업이 별도 조정 없이 작동한다는 의미는 아니다. 개발자는 자신의 모델과 실행 경로가 지원되는지 확인해야 한다.
핵심 변화는 ‘하드웨어 선택’을 PyTorch 안으로 가져오는 것
이번 발표가 엔비디아 GPU를 쓸 이유를 없애는 것은 아니다. 달라진 점은 PyTorch 개발자가 익숙한 프레임워크를 유지하면서 구글 TPU와 AWS Trainium을 직접 시험할 수 있는 소프트웨어 경로가 늘었다는 것이다.
4
9
10
실제 도입을 검토하는 팀이라면 지원되는 연산자와 라이브러리는 무엇인지, 코드 수정이 얼마나 필요한지, 목표 하드웨어에서 성능이 어떤지를 따져봐야 한다. TorchTPU와 TorchNeuron은 대체 칩에서 PyTorch를 시작하는 문턱을 낮추지만, 그 뒤의 호환성과 성능 검증까지 대신해주지는 않는다.