Cỗ máy tin tiền của NVIDIA gọi tên GPU H100
NVIDIA bán mỗi chiếc card H100 với giá gần 30.000 USD dù chi phí sản xuất ước tính khoảng 3.320 USD.
Cây bút lâu năm Tae Kim của trang Barron's dự đoán NVIDIA lời gần 8 lần cho mỗi GPU gia tốc H100 được bán. Cụ thể, mỗi card H100 có giá từ 25.000-30.00 USD nhưng chi phí sản xuất chỉ ở mức 3.320 USD. Điều này cũng dễ hiểu vì hãng vẫn chưa có đối thủ trong mảng này.
Thực tế, con số 3.320 USD vẫn chưa rõ ràng. Chi tiết, ông Tae Kim lấy dữ liệu này từ công ty tư vấn tài chính Raymond James. Tuy nhiên, Raymond James không công bố cụ thể cách phân tích lẫn số liệu chi phí.
Nếu chi phí sản xuất (gồm giá mỗi tấm wafer, chip nhớ HBM lẫn linh kiện khác) thì NVIDIA vẫn còn nhiều khoản chi khác cần trả. Ví dụ, việc phát triển sản phẩm luôn cần thời gian và tài nguyên. Cho nên, chi phí về nhân lực cũng như quá trình nghiên cứu và phát triển (R&D) cũng phải được tính vào số liệu cuối cùng.
Theo Glassdoor, lương trung bình của kỹ sư phần cứng điện tử tại NVIDIA khoảng 202.000 USD mỗi năm. Do đó, việc phát triển mẫu card cao cấp như H100 sẽ cần đội ngũ chuyên biệt và hàng nghìn giờ làm việc. Cho nên, số tiền hãng phải trả cho họ không hề nhỏ.
Mặt khác, nếu thông tin chính xác, điều này sẽ đánh dấu kỷ nguyên vàng đối với hoạt động kinh doanh GPU của NVIDIA. Ông Tae Kim cho biết rằng nhu cầu về GPU H100 cao đến mức chúng đã được bán hết đến năm 2024.
Trong khi đó, nhiều công ty AI đang cố gắng đảm bảo có đủ nguồn cung GPU gia tốc nhằm hỗ trợ cho các mô hình sáng tạo và dịch vụ AI. Foxconn dự đoán, vào năm 2027, thị trường máy chủ AI sẽ đạt giá trị 150 tỷ USD. Những máy chủ hiện đại này phụ thuộc rất nhiều vào khả năng tính toán mạnh mẽ của phần cứng NVIDIA.
GPU H100 dựa trên kiến trúc Hopper, được thiết kế như đối trọng của Ada Lovelace. Tuy nhiên, kiến trúc Hopper không hỗ trợ nhiều cho việc chơi game. Model H100 được trang bị GPU GH100 chứa 14.592 lõi CUDA, RAM 80GB HBM3 với bus 5.120 bit.