General Compute đã đặt hàng 300 triệu USD cho chip SN50 và tuyên bố là neocloud đầu tiên triển khai chúng . Động thái này phản ánh một sự dịch chuyển rộng lớn hơn của thị trường hướng tới các loại chip được tối ưu hóa cho suy luận, được nhấn mạnh bởi thương vụ Nvidia mua lại Groq với giá 20 tỷ USD và đợt IPO trị giá 57 tỷ USD của Cerebras
.
Ngay cả những con chip tốt nhất cũng trở nên vô dụng nếu không có chỗ để cắm điện. Cơn sốt AI đã tạo ra một nút thắt cổ chai khổng lồ trong việc xây dựng trung tâm dữ liệu, với các cơ sở mới mất nhiều năm để hoàn thiện và tiêu tốn chi phí đầu tư khổng lồ. Phản ứng của General Compute là bỏ qua hoàn toàn công đoạn xây dựng.
Chìa khóa nằm ở thiết kế phần cứng. Không giống như các cụm GPU ngốn điện và cần tản nhiệt bằng nước đang thống trị mảng huấn luyện AI, chip SN50 của SambaNova được tản nhiệt bằng khí và tiêu thụ ít điện năng hơn đáng kể. Điều này có nghĩa là chúng không yêu cầu những đợt trang bị thêm chuyên dụng, đắt đỏ và có thể được lắp đặt trong nhiều cơ sở trung tâm dữ liệu sẵn có hơn .
Điều này mở ra cánh cửa cho chiến lược hạ tầng sáng tạo nhất của startup: các thỏa thuận thuê chỗ với các trại đào tiền mã hóa (crypto miners). Khi lợi nhuận từ việc đào tiền mã hóa sụt giảm, nhiều thợ đào bị bỏ lại với cơ sở hạ tầng đáng kể—các tòa nhà có công suất điện lớn, hệ thống làm mát công nghiệp và mạng tốc độ cao—đang tìm kiếm mục đích mới . Kế hoạch của General Compute chỉ đơn giản là lắp đặt các tủ rack SN50 tản nhiệt bằng khí của mình vào các cơ sở có sẵn này, có được ngay lập tức khả năng tiếp cận những phần khó khăn nhất của việc xây dựng hạ tầng AI mà không tốn một đô la hay một ngày nào cho việc xây mới
.
Chiến lược của General Compute là một canh bạc hai chiều về tương lai của AI. Về mặt phần cứng, họ đặt cược rằng tác vụ suy luận cho các tác nhân tự động sẽ là một thị trường khổng lồ, riêng biệt, đòi hỏi ASIC chuyên dụng, chứ không phải GPU huấn luyện được tái sử dụng. Về mặt hậu cần, họ đặt cược rằng việc đưa chip vào hoạt động nhanh chóng bằng cách tận dụng cơ sở hạ tầng sẵn có quan trọng hơn việc theo đuổi những lợi ích nhỏ về thông số trên giấy. Nếu đúng, General Compute sẽ không chỉ là một nhà cung cấp đám mây mới; đó sẽ là một bản thiết kế chi tiết cho cách mà làn sóng các công ty AI tiếp theo giải quyết những nút thắt vật lý và tài chính cấp bách nhất của ngành.