Milvus

Milvus là cơ sở dữ liệu vectơ nguồn mở xử lý 1 tỷ tìm kiếm vectơ trong vài giây và ngày càng được sử dụng làm cơ sở cho RAG (tạo tiện ích mở rộng truy xuất), tìm kiếm ngữ nghĩa và công cụ đề xuất. Lưu văn bản, hình ảnh và âm thanh dưới dạng vectơ nhúng và trích xuất dữ liệu tương tự về mặt ngữ nghĩa bằng cách sử dụng độ tương tự cosin và tích bên trong. Nó được thiết kế dành cho các kỹ sư máy học muốn xây dựng "lớp bộ nhớ" của ứng dụng LLM, người quản lý cơ sở hạ tầng tại các công ty khởi nghiệp AI và hệ thống thông tin muốn xây dựng tìm kiếm kiến ​​thức nội bộ.

Các tính năng chính

1. Tìm kiếm phân tán với 1 tỷ vectơ: Cấu hình gốc đám mây giúp phân tách bộ lưu trữ, truy vấn và chỉ mục, đồng thời có thể mở rộng quy mô theo chiều ngang bằng cách chỉ cần thêm các nút. Các tìm kiếm tương tự trước đây mất hàng chục giây với RDB có thể giảm xuống còn hàng chục mili giây. 2. 11 loại lựa chọn chỉ mục: HNSW, IVF_FLAT, DiskANN, GPU_CAGRA, v.v. có thể được chuyển đổi theo yêu cầu về lượng dữ liệu và độ chính xác. Milvus 2.1 trở lên tối ưu hóa hiệu suất CPU bằng bộ lập lịch đồng thời và mô hình đánh giá chi phí. 3. Tìm kiếm kết hợp: Ngoài tính tương tự vectơ, việc lọc dựa trên siêu dữ liệu (tìm kiếm vô hướng) có thể được thực hiện trong cùng một truy vấn, cho phép thu hẹp dựa trên thuộc tính ngành, ngày tháng và người dùng. 4. Zilliz Cloud (phiên bản được quản lý): Nếu bạn muốn tránh gánh nặng vận hành của việc tự lưu trữ, bạn có thể sử dụng phiên bản được quản lý hoàn toàn trên AWS / GCP / Azure trên cơ sở trả tiền theo nhu cầu sử dụng.

Biên bản xác minh của ban biên tập

Chúng tôi đã tính toán các tài nguyên cần thiết bằng cách sử dụng các tài liệu công khai và Công cụ định cỡ và nhận thấy rằng với 100 triệu vectơ (768 chiều), việc tự lưu trữ của Milvus sẽ tốn khoảng 300-600 USD mỗi tháng cho chi phí cơ sở hạ tầng cho cấu hình 3 nút với bộ nhớ 32-64GB, rẻ hơn 30-50% so với gói tương đương của Pinecone (700 USD mỗi tháng). Mặt khác, do hoạt động của Kubernetes là bắt buộc nên Zilliz Cloud (Serverless $0,10/tháng / 1 triệu truy vấn ~) sẽ có lợi thế hơn về TCO đối với các dự án quy mô nhỏ, bao gồm cả chi phí lao động. Bảng so sánh trong tài liệu chính thức của Milvus cũng chỉ ra rằng việc lựa chọn chỉ mục linh hoạt hơn và hỗ trợ GPU của Pinecone là những điểm khác biệt và đã có báo cáo về các trường hợp việc xây dựng lại chỉ mục, vốn thường mất một ngày trong PoC, đã giảm xuống còn vài phút.

Người dùng dự định

Nó phù hợp cho các kỹ sư ML muốn triển khai RAG và tìm kiếm ngữ nghĩa để xử lý hơn 100.000 vectơ và các nhóm cơ sở hạ tầng của công ty muốn có cơ sở dữ liệu vectơ nội bộ để có chủ quyền dữ liệu và tối ưu hóa chi phí. Mặt khác, đối với các nguyên mẫu có ít hơn hàng chục nghìn mục tiêu tìm kiếm hoặc các nhóm không có nhân viên vận hành, Zilliz Cloud hoặc pgvector sẽ thực tế hơn về mặt chi phí học tập.

DB vectơ có thể mở rộng mã nguồn mở. Hỗ trợ tìm kiếm tương tự tốc độ cao với hơn 1 tỷ vectơ + mở rộng quy mô theo chiều ngang, tìm kiếm đa phương thức hình ảnh/văn bản/âm thanh, v.v. + hệ thống đề xuất + phát hiện bất thường. Ngoài ra còn có phiên bản được quản lý của Zilliz Cloud. Một mã nguồn mở hoàn toàn miễn phí, được thiết kế cho "quy mô lớn" trong danh mục cạnh tranh của Pinecone/Weaviate/Qdrant và đã được triển khai nhiều lần trên nền tảng RAG dành cho các công ty cỡ vừa và lớn hơn.