Comet ML

Comet ML là một nền tảng MLOps quản lý tập trung nhật ký thử nghiệm, siêu tham số, thành phần mô hình và giám sát sản xuất cho các dự án máy học. Nó có thể được tích hợp vào các framework chính như PyTorch, TensorFlow, scikit-learn và Hugging Face chỉ với một vài dòng mã, do đó, nó có thể được triển khai mà không cần thay đổi lớn đối với quy trình công việc hiện có. Nền tảng này phù hợp cho các nhóm nghiên cứu và phát triển chạy song song nhiều mô hình cũng như cho các nhóm khoa học dữ liệu cần theo dõi độ trôi sau khi triển khai sản xuất.

Các tính năng chính

Bảng thông tin theo dõi và so sánh thử nghiệm: Trực quan hóa mức độ mất mát, độ chính xác, mức sử dụng GPU, v.v. trong quá trình đào tạo theo thời gian thực trên trình duyệt. Nhiều lần chạy có thể được so sánh song song và các nhiệm vụ tổng hợp trước đây mất hàng chục phút để các nhóm quản lý nhật ký thử nghiệm trong Excel giờ đây có thể được hoàn thành trong vài giây bằng cách xem trang tổng quan.

Tối ưu hóa siêu tham số: Bayesian, Grid và Random Search có thể được viết dưới dạng khai báo và việc điều phối thực thi song song cũng có thể được tự động hóa. Bạn có thể giảm số lượng bảo trì cần thiết cho các tập lệnh quét thủ công.

Kiểm soát phiên bản tập dữ liệu và đăng ký mô hình: Dữ liệu, mã, mô hình và số liệu đánh giá dùng cho đào tạo được liên kết và lưu dưới dạng một tập hợp. Chúng tôi cũng có thể đáp ứng các yêu cầu kiểm tra như ``tái tạo mô hình sản xuất từ 3 tháng trước.''

Giám sát sản xuất (MPM): Phát hiện sự sai lệch phân phối trong các giá trị dự đoán của mô hình và sự suy giảm chất lượng dữ liệu sau khi triển khai và thậm chí cả các trình kích hoạt đào tạo lại thiết kế.

Biên bản xác minh của ban biên tập

Nhìn vào cấu trúc giá được công bố, các cá nhân và nhóm nhỏ có thể sử dụng gói đám mây miễn phí cho tối đa 75 nghìn yêu cầu mỗi tháng và các hoạt động sản xuất thương mại được xác định dựa trên việc chuyển sang Starter/Premium/Enterprise trả phí. So với cùng loại MLflow (vận hành mã nguồn mở nội bộ), điểm khác biệt của Comet là nó cung cấp dịch vụ lưu trữ, SSO và giám sát mô hình cùng một lúc và người ta ước tính rằng nó có thể tránh được lượng nhân công cơ sở hạ tầng cần thiết để tự lắp ráp MLflow + Prometheus + Grafana (2-4 tuần xây dựng ban đầu + hơn 10 giờ hoạt động hàng tháng). Mặc dù các chức năng tương tự như Trọng số & Xu hướng, Comet sẽ kết hợp nền tảng đánh giá mã nguồn mở LLM "Opik" vào năm 2024 và ưu điểm mới nhất của nó là nó có thể xử lý ngay cả việc quan sát theo dõi các AI agent thế hệ trên cùng một nền tảng.

Người dùng dự định

Nó phù hợp cho các nhóm nghiên cứu và phát triển phát triển song song nhiều mô hình cũng như cho các nhóm khoa học dữ liệu quy mô vừa trở lên muốn theo dõi sự trôi dạt của các mô hình ML sản xuất nội bộ. Mặt khác, đối với các trang web có giao diện người dùng chủ yếu là tiếng Anh và bạn muốn tiếp tục với các tài liệu tiếng Nhật hoặc đối với các dự án nhỏ mà việc học chỉ được thực hiện vài lần trong năm, việc quản lý nhật ký Notebook hoặc sử dụng MLflow của riêng bạn có thể là đủ.

Quản lý thử nghiệm ML + nền tảng giám sát mô hình. Tích hợp trực quan hóa các số liệu học tập theo thời gian thực + so sánh thử nghiệm + kiểm soát phiên bản tập dữ liệu + giám sát sản xuất. Miễn phí cho mục đích sử dụng cá nhân và học tập, Tiêu chuẩn bắt đầu từ $15/người dùng/tháng. Hạng mục Cạnh tranh về Trọng lượng & Xu hướng, một lựa chọn dành cho các nhóm ML cỡ trung bình và lớn hơn để xây dựng MLO chính thức.