Weaviate

Weaviate là một cơ sở dữ liệu vectơ nguồn mở được áp dụng rộng rãi làm cơ sở cho tìm kiếm ngữ nghĩa và RAG (Tạo tăng cường truy xuất) trong các ứng dụng AI. Dữ liệu phi cấu trúc như văn bản, hình ảnh, âm thanh và video được vector hóa và lưu trữ để cho phép tìm kiếm tốc độ cao dựa trên sự tương đồng về ngữ nghĩa. Chúng tôi cung cấp cả phiên bản tự lưu trữ trên máy chủ của riêng bạn và phiên bản đám mây được quản lý hoàn toàn cho các nhóm kỹ thuật xây dựng tìm kiếm kiến ​​thức nội bộ, chatbot hỗ trợ khách hàng và công cụ đề xuất.

Các tính năng chính

Tìm kiếm kết hợp (BM25 + vector): Kết hợp khớp từ khóa và tìm kiếm ngữ nghĩa trong một truy vấn, tránh mất độ chính xác trong các tìm kiếm bao gồm danh từ riêng và số mẫu. Cấu hình trước đây được quản lý kép bằng Elaticsearch + DB vectơ riêng biệt có thể được hợp nhất thành một nền tảng.

Mở rộng đa phương thức & mô-đun: Các mô hình nhúng như OpenAI, Cohere, HuggingFace, Ollama, v.v. có thể được thay thế dưới dạng mô-đun và dữ liệu được tự động vector hóa khi nhập vào. Không cần phải viết quy trình tạo nhúng ở phía ứng dụng và thời gian cần thiết để xây dựng PoC có thể giảm từ vài ngày xuống còn vài giờ.

API GraphQL & REST: Các tìm kiếm ngữ nghĩa phức tạp với các điều kiện lọc có thể được viết bằng một truy vấn GraphQL duy nhất. Vì các lớp và thuộc tính được xác định theo cách hướng lược đồ nên nó được thiết kế để dễ dàng theo dõi các thay đổi của mô hình dữ liệu.

Chia tỷ lệ theo chiều ngang và nhiều bên thuê: Hỗ trợ sao chép phân đoạn và phân tách dữ liệu một cách hợp lý trên cơ sở đối tượng thuê, do đó, dữ liệu này có thể được sử dụng trực tiếp cho các hoạt động nhiều bên thuê của SaaS.

Biên bản xác minh của ban biên tập

Sau khi so sánh các cấu trúc giá được công bố, chúng tôi nhận thấy rằng phiên bản tự lưu trữ hoàn toàn miễn phí với giấy phép Apache 2.0, Weaviate Cloud (phiên bản được quản lý) có thể được bắt đầu miễn phí với gói Sandbox và phiên bản Serverless sản xuất có giá khởi điểm tương đương 25 USD mỗi tháng. Điểm khác biệt so với các hệ thống khép kín, được quản lý hoàn toàn như Pinecone là: (1) tự lưu trữ, đảm bảo chủ quyền dữ liệu, (2) triển khai tiêu chuẩn tìm kiếm kết hợp và (3) tính mô-đun, không có mô hình nhúng khóa. Khi xây dựng nền tảng RAG nội bộ cho 100.000 tài liệu nội bộ, chúng tôi ước tính rằng thời gian cần thiết để thiết kế và triển khai cơ sở hạ tầng tìm kiếm vectơ có thể giảm từ 2-3 tuần truyền thống xuống còn 3-5 ngày và chi phí cơ sở hạ tầng cho giai đoạn PoC cũng có thể được giảm bằng cách sử dụng bậc miễn phí Sandbox.

Người dùng dự định

Giải pháp này lý tưởng cho các lĩnh vực tài chính và y tế có yêu cầu tại chỗ, các tổ chức phát triển muốn vận hành nội bộ nền tảng RAG và các kỹ sư AI muốn so sánh và xác minh nhiều mô hình nhúng. Mặt khác, đối với các nhóm không thể phân bổ tài nguyên vận hành cơ sở hạ tầng hoặc những người không phải là kỹ sư coi trọng khả năng hoạt động giống SQL, chi phí học tập cao và DB vectơ được quản lý đơn giản hơn sẽ phù hợp hơn.

DB vectơ mã nguồn mở. Hỗ trợ API GraphQL + từ khóa + tìm kiếm kết hợp vector + đa phương thức (văn bản/hình ảnh/video). Tương thích với cả đám mây tự lưu trữ và quản lý, mã nguồn mở hoàn toàn miễn phí. Cạnh tranh với Pinecone/Chroma, nền tảng RAG tiêu chuẩn dành cho các công ty lớn và các tổ chức tập trung vào bảo mật muốn quản lý dữ liệu của riêng họ.