Anyscale

Anyscale là một nền tảng AI được quản lý hoàn toàn từ nhà phát triển ban đầu của khung xử lý phân tán nguồn mở Ray. Bạn có thể xử lý tất cả việc học LLM, tinh chỉnh, suy luận và phân phối cùng một lúc, đồng thời mở rộng quy mô các mô hình có hàng chục tỷ đến hàng trăm tỷ tham số trên nhiều đám mây và nhiều GPU. Đây là nền tảng dành cho các nhóm MLOps bận rộn xây dựng và vận hành cơ sở hạ tầng AI, các nhóm sản phẩm muốn đưa LLM của riêng họ vào sản xuất và các tổ chức nghiên cứu đang vận hành hoạt động học tập phân tán quy mô lớn.

Các tính năng chính

Cụm được quản lý bởi Ray: Việc thiết lập một cụm GPU, việc này sẽ mất vài tuần nếu bạn tự xây dựng Kubernetes+Ray, có thể được thực hiện trong vài phút từ UI hoặc CLI. Có thể kết nối với tài khoản AWS/GCP/Azure và tự động điều chỉnh quy mô bằng cách sử dụng kết hợp Spot và On-Demand.

Kỹ năng agent Anyscale cho Ray (GA): Khả năng chính thức để xây dựng và vận hành quy trình làm việc dựa trên agent trên khối lượng công việc Ray. Suy luận hàng loạt, RAG và xử lý đa agent có thể được mô tả bằng API hợp nhất.

Phục vụ mô hình: Dựa trên Ray Serve, triển khai tính năng tự động điều chỉnh quy mô, thử nghiệm A/B và triển khai canary theo yêu cầu về độ trễ trong vài chục dòng mã. Số giờ triển khai có thể giảm từ 1/5 đến 1/10 so với xây dựng nội bộ.

Tối ưu hóa việc sử dụng GPU: Có những ví dụ đã được công bố về việc giảm GPU nhàn rỗi bằng cách sử dụng bộ lập lịch công việc và phân bổ GPU theo tỷ lệ, đồng thời giảm 20-40% chi phí GPU trên đám mây cho cùng một khối lượng công việc.

Biên bản xác minh của ban biên tập

Xác minh từ gói giá công khai, đây là hệ thống trả tiền khi bạn sử dụng, nơi bạn nhận được khoản tín dụng 100 đô la khi đăng ký dịch vụ mới và nó được đo trên cơ sở thời gian GPU/CPU. So với SageMaker và Vertex AI Custom Training, điểm khác biệt là chi phí học tập phân tán nhiều nút là nhỏ nhờ sự hỗ trợ của Ray và có thể sử dụng PyTorch DDP, DeepSpeed ​​và vLLM. Dựa trên các tài liệu đã xuất bản, nếu một kỹ sư ML tự mình xây dựng và vận hành cụm Ray, thì sẽ mất 40-80 giờ cho quá trình xây dựng ban đầu + 10-20 giờ cho hoạt động hàng tháng, nhưng bằng cách giới thiệu Anyscale, thời gian xây dựng ban đầu có thể giảm xuống dưới 5 giờ và hoạt động gần như bằng 0, đồng thời dự kiến ​​sẽ giảm chi phí lao động kỹ sư từ 500.000 đến 1,5 triệu yên Nhật mỗi tháng. Đối với các ứng dụng phân phối LLM, có các báo cáo điểm chuẩn cho thấy thông lượng cao hơn 2-4 lần** với cùng số lượng GPU do tích hợp vLLM.

Người dùng dự định

Phù hợp với các công ty AI đang điều hành hoạt động học tập và phục vụ LLM của riêng họ, các nhóm R&D cần học tập phân tán với nhiều nút GPU và các nhóm MLOps muốn vượt qua giới hạn của SageMaker. Mặt khác, đối với việc phát triển SaaS chỉ sử dụng AI được tạo thông qua API hoặc đối với các nhóm chỉ xử lý một GPU hoặc mô hình quy mô nhỏ, OpenAI API và Replica được chỉ định quá mức và phù hợp hơn.

Nền tảng AI dựa trên khung xử lý phân tán Ray. Quản lý tích hợp việc học, suy luận và phục vụ LLM quy mô lớn cũng như mở rộng quy mô linh hoạt các tài nguyên tính toán với hàng chục tỷ tham số. Thay vì SaaS chung, nó là một nền tảng công nghiệp được sử dụng bởi cơ sở hạ tầng AI, OpenAI, Cohere, Roblox, v.v. Hệ thống thanh toán hàng tháng (dựa trên mức sử dụng) dành cho các công ty lớn vận hành LLM của riêng họ.