RunPod

RunPod là một nền tảng đám mây GPU chuyên về học tập và suy luận mô hình AI. Các GPU NVIDIA mới nhất như H100, A100, B200 và RTX Pro 6000 có thể được thuê theo giây, cho phép các nhà nghiên cứu ML, công ty khởi nghiệp và nhà phát triển hợp đồng chạy khối lượng công việc GPU với chi phí thấp hơn so với các công cụ siêu quy mô quy mô lớn (AWS/GCP). Nó được thiết kế để sử dụng hai chế độ, Serverless (khởi động theo yêu cầu) và Pod (luôn chạy các vùng chứa), tùy thuộc vào mục đích và bao gồm nhiều ứng dụng từ API suy luận đến các công việc học tập dài hạn.

Các tính năng chính

GPU Pod theo yêu cầu ra mắt H100 SXM, A100, A40, L40S, RTX A6000, v.v. trên cơ sở mỗi giây. Phiên bản GPU dành cho máy tính để bàn có thể được bảo mật từ khoảng 0,34 USD/giờ, bằng 1/3 đến 1/5 mức giá của AWS p4d.

Suy luận GPU serverless là cơ chế tự động khởi động và kết thúc môi trường cho mỗi yêu cầu. Bằng cách không tính phí thời gian nhàn rỗi, bạn có thể tiết kiệm hàng nghìn đô la mỗi tháng cho các API suy luận có lưu lượng truy cập không ổn định.

Đi ra hoàn toàn miễn phí. Không có phí bổ sung khi tải xuống các mô hình đã đào tạo hoặc hình ảnh được tạo và phí băng thông, khoảng 9 USD trên AWS, bằng 0 khi truyền mô hình 100GB.

Nó cũng có tính năng lưu trữ và mẫu liên tục, với khả năng khởi chạy chỉ bằng 1 cú nhấp chuột từ PyTorch, TensorFlow, Stable Diffusion, ComfyUI, v.v. Xây dựng môi trường, thường mất từ ​​30 đến 60 phút, nay giảm xuống còn chưa đầy 5 phút.

Biên bản xác minh của ban biên tập

So sánh đơn giá của NVIDIA H100 SXM (khoảng 2,99 USD/giờ) với AWS p5 (98,32 USD/giờ, cấu hình 8GPU) và GCP A3 trên cơ sở giá công bố, chỉ tính riêng GPU tương đương, nó rẻ hơn 40-60%. Nó khác biệt ở ba điểm: đầu ra miễn phí, thanh toán theo giây và không có máy chủ, đồng thời nó có lợi thế rõ ràng so với các đám mây loại VM truyền thống, đặc biệt là đối với các ứng dụng bùng nổ suy luận. Giả sử khối lượng học tập là 2 giờ một ngày x 20 ngày một tháng, bạn có thể mong đợi giảm chi phí 200-400 USD mỗi tháng so với AWS. Mặt khác, SLA, hệ thống hỗ trợ và độ ổn định băng thông mạng của nó kém hơn so với các dịch vụ đám mây lớn nên không phù hợp cho các ứng dụng tài chính và y tế dựa trên sản xuất. Đó sẽ là vị trí hoàn hảo làm cơ sở suy luận cho Kaggle, các dự án nghiên cứu và MVP khởi nghiệp.

Người dùng dự định

Thích hợp cho các nhà nghiên cứu ML riêng lẻ, Kaggler, bộ điều chỉnh Stable Diffusion/LLM và các công ty khởi nghiệp AI muốn giảm chi phí suy luận. Mặt khác, nó không phù hợp với khối lượng công việc sản xuất tại các công ty lớn yêu cầu SLA doanh nghiệp, hỗ trợ tiếng Nhật và kết nối đường dây chuyên dụng.

Một đám mây GPU đại diện cho việc học tập và suy luận AI. Cho thuê GPU theo yêu cầu + Serverless (bắt đầu và kết thúc theo từng yêu cầu) + Kiến trúc Pod (luôn bật) 2, trả tiền theo nhu cầu, rẻ hơn nhiều so với AWS/GCP. Dựa trên mức sử dụng hàng tháng. Danh mục cạnh tranh của Vast.ai/Lambda Labs, thiết thực để "giảm chi phí GPU" cho các nhà phát triển cá nhân, công ty khởi nghiệp và nhóm AI nhỏ.