DeepSpeed là thư viện tối ưu hóa suy luận và học tập phân tán được phát triển bởi Microsoft. Công nghệ phân vùng bộ nhớ có tên ZeRO cho phép học mô hình với hàng tỷ đến hàng trăm tỷ tham số.
DeepSpeed là một khung tối ưu hóa suy luận và học tập phân tán mã nguồn mở do Microsoft phát hành. Nó kết hợp việc phân chia các trạng thái tối ưu hóa, độ dốc và tham số bằng cách sử dụng Zero Redundancy Optimizer (ZERO), song song mô hình, song song đường ống và học tập có độ chính xác hỗn hợp, đồng thời được áp dụng rộng rãi như một công nghệ có thể tìm hiểu và suy ra các mô hình có hàng tỷ đến hàng trăm tỷ tham số không thể gắn trên một GPU. Người ta thường kết hợp nó với PyTorch và cũng thường thiết lập nó để hoạt động với các thư viện ngoại vi như Hugging Face Transformers. Mặt khác, trong hoạt động thực tế, khi sử dụng ZeRO-3 và giảm tải CPU, có những trường hợp thông lượng không tăng như mong đợi do chi phí liên lạc và trao đổi, đồng thời thực tế là cấu hình mạng và tốc độ lưu trữ của cụm GPU có xu hướng bị giới hạn tốc độ là một cạm bẫy tại hiện trường. Kể từ năm 2026, sẽ cần phải ước tính chi phí dựa trên giá thị trường của các phiên bản GPU đám mây, sau đó đưa ra quyết định chọn sự kết hợp cần thiết của các chiến lược song song hóa.