Chroma

Chroma là cơ sở dữ liệu vectơ nhúng mã nguồn mở được thiết kế để phát triển ứng dụng AI. Nó có thể được bắt đầu với một vài dòng Python và các nguyên mẫu cho RAG (RAG), hệ thống đề xuất và tìm kiếm tài liệu nội bộ có thể được khởi chạy trong một thời gian ngắn. Việc sử dụng thương mại là miễn phí với giấy phép Apache 2.0 và có thể sử dụng cùng một API để chuyển từ hoạt động phát triển cục bộ sang hoạt động sản xuất không có máy chủ trên Chroma Cloud, khiến khoảng cách từ PoC đến sản xuất trở nên cực kỳ ngắn. Việc tích hợp tiêu chuẩn với LangChain và LlamaIndex giúp nó phù hợp với các nhóm phát triển muốn nhanh chóng lắp ráp phần phụ trợ của các ứng dụng AI tổng hợp.

Các tính năng chính

Nó có chế độ kép trong bộ nhớ và lưu trữ lâu dài, đồng thời có thể khởi chạy trong bộ nhớ bằng một dòng chromadb.Client(), được lưu vào đĩa cục bộ với PersistentClient và được quảng bá trực tiếp lên Docker hoặc Chroma Cloud trong quá trình sản xuất. Bởi vì nó được thiết kế để hấp thụ những khác biệt về môi trường nên có thể dễ dàng giảm lượng thời gian cần thiết để chuyển từ PoC sang sản xuất từ ​​vài ngày xuống còn vài giờ.

Mô hình nhúng có thể được lựa chọn tự do và các mô hình chính như OpenAI text-embedding-3-small, Cohere và Sentence Transformers có thể được thay thế. Nếu sử dụng mô hình onnx mặc định, bạn có thể thử nghiệm nó với mức phí API bằng 0 và rất dễ dàng chuyển sang mô hình ưu tiên độ chính xác khi đi vào sản xuất.

Các truy vấn với bộ lọc siêu dữ liệu cũng đã được triển khai và bằng cách kết hợp các tìm kiếm tương tự vectơ và mệnh đề Where giống SQL, có thể thu hẹp các điều kiện như "Bộ phận=Bán hàng" và "Ngày>2026-01" trong một truy vấn duy nhất. Các máy khách gốc cho Python, JavaScript, Ruby, PHP và Java được cung cấp, giúp dễ dàng tích hợp trực tiếp vào các ngăn xếp web và thiết bị di động hiện có.

Biên bản xác minh của ban biên tập

So sánh đối thủ cạnh tranh dựa trên thông số kỹ thuật công khai và gói giá, Chroma không có chi phí cố định hàng tháng nếu tự lưu trữ, so với Pinecone (Người khởi xướng $70/tháng trở lên) và Weaviate Cloud (Sandbox free/Sản phẩm $25/tháng trở lên). Đối với các ứng dụng RAG có 1 triệu vectơ, ước tính chi phí cơ sở hạ tầng có thể giảm khoảng 840 USD mỗi năm tính theo Pinecone. Mặt khác, Chroma Cloud sử dụng tính năng thanh toán không cần máy chủ và yêu cầu yêu cầu cung cấp chi tiết về giá, vì vậy việc ước tính trước là điều cần thiết cho các hoạt động sản xuất quy mô lớn. Mức độ hoàn thiện của việc tích hợp LangChain và khả năng hiểu tài liệu dễ dàng vượt trội hơn nhiều so với đối thủ và thời gian cần thiết để một kỹ sư khởi chạy nền tảng RAG có thể giảm xuống còn khoảng nửa ngày, so với 2 đến 3 ngày đối với xây dựng dựa trên số không.

Người dùng dự định

Thích hợp cho các kỹ sư AI muốn tạo RAG và tìm kiếm ngữ nghĩa nội bộ, các bộ phận khởi nghiệp và hệ thống thông tin muốn hoàn thành PoC để tìm kiếm kiến thức nội bộ trong thời gian ngắn nhất. Mặt khác, đối với các ứng dụng doanh nghiệp yêu cầu hoạt động được quản lý hoàn toàn, SLA được đảm bảo và phân phối hàng trăm triệu vectơ trên quy mô lớn, Pinecone và Vertex AI Vector Search là những lựa chọn an toàn hơn.

DB vector nhúng cho các ứng dụng AI. Hoàn toàn là mã nguồn mở, có thể được tích hợp ngay lập tức với Python/JS và có tính linh hoạt để hỗ trợ cả chế độ bộ nhớ cục bộ và chế độ máy khách-máy chủ. Một yếu tố chính của nguyên mẫu RAG có tích hợp LangChain/LlamaIndex. Nó "cục bộ + nhẹ" hơn Pinecone, là lựa chọn đầu tiên cho nguyên mẫu RAG của các nhà phát triển và hoàn toàn miễn phí.