Databricks

Databricks là nền tảng "data lakehouse" xử lý phân tích dữ liệu, học máy và khối lượng công việc AI tổng hợp trong một môi trường đám mây tích hợp. Nó được nhóm phát triển Apache Spark đưa ra và cho phép bạn tích lũy hàng petabyte dữ liệu có cấu trúc và không cấu trúc trên một nền tảng duy nhất, đồng thời thực hiện mọi thứ từ phân tích SQL đến học mô hình ML, tinh chỉnh LLM và vận hành sản xuất API suy luận cùng một lúc. Là cốt lõi của cơ sở hạ tầng dữ liệu toàn công ty bao gồm kỹ thuật dữ liệu, khoa học dữ liệu và phát triển AI, nó ngày càng được áp dụng trong các bộ phận DX của các công ty có dữ liệu quy mô lớn, chẳng hạn như sản xuất, tài chính và bán lẻ.

Các tính năng chính

1. Lakehouse + Delta Lake: Tích hợp các hồ dữ liệu riêng biệt truyền thống (dữ liệu thô) và kho dữ liệu (phân tích có cấu trúc). Việc quản lý kép các đường ống ETL không còn cần thiết nữa và việc bảo trì dữ liệu trước đây phải mất hàng tuần giờ đây có thể được thực hiện theo đợt hàng ngày.

2. Khảm AI/Phục vụ mô hình: Tinh chỉnh các LLM như Llama và DBRX bằng cách sử dụng dữ liệu của riêng bạn và triển khai ngay chúng dưới dạng API suy luận. Bạn có thể xây dựng RAG nội bộ và AI dành riêng cho doanh nghiệp trong môi trường riêng tư mà không cần dựa vào API bên ngoài.

3. Danh mục thống nhất: Quản trị tập trung trên các bảng, mô hình và sổ ghi chép. Nhật ký kiểm tra và quản lý thẩm quyền cho từng bộ phận có thể được hoàn thành bằng GUI, đáp ứng các yêu cầu tuân thủ của các ngành được quản lý như tài chính và chăm sóc y tế.

4. Databricks SQL: Điểm cuối SQL tốc độ cao kết nối trực tiếp với các công cụ BI (Tableau, Power BI). Công cụ Photon đạt được tốc độ truy vấn nhanh hơn nhiều lần so với trước đây, giảm thời gian chờ phản hồi cho bảng thông tin BI.

Biên bản xác minh của ban biên tập

Sau khi so sánh các khoản phí công (cấu trúc hai lớp của DBU mỗi giây thanh toán + chi phí VM đám mây thực tế) và các yêu cầu về chức năng, chúng tôi nhận thấy rằng Snowflake và BigQuery chuyên dùng để phân tích và Sagemaker chuyên dùng cho ML, trong khi điểm khác biệt lớn nhất của Databricks là nó có thể cung cấp cả hai trên một nền tảng duy nhất. Danh mục Unity và AI khảm được mở khóa ở cấp Cao cấp và các tính năng tuân thủ (HIPAA, FedRAMP, v.v.) có sẵn ở cấp Doanh nghiệp. So sánh chi phí xây dựng và vận hành nền tảng dữ liệu, nền tảng ML và nền tảng LLM riêng biệt, người ta ước tính rằng có thể giảm số giờ công kỹ thuật vài chục triệu yên Nhật mỗi năm. Mặt khác, do việc thanh toán DBU tỷ lệ thuận với thời gian thực hiện nên điều quan trọng cần lưu ý là chi phí có thể dễ dàng tăng trừ khi việc chấm dứt cụm tự động và tối ưu hóa công việc được thiết lập làm quy tắc vận hành.

Người dùng dự định

Đó là lý tưởng cho các nhóm cơ sở hạ tầng dữ liệu trong các công ty vừa và lớn xử lý hàng petabyte dữ liệu và muốn thiết lập một nền tảng kết hợp giữa các kỹ sư dữ liệu, nhà khoa học dữ liệu và nhóm phát triển AI. Mặt khác, đối với các nhóm nhỏ chỉ xử lý vài GB dữ liệu và chỉ muốn tạo bảng thông tin BI, chi phí học tập ban đầu và chi phí cấp phép có xu hướng được chỉ định quá mức và sự kết hợp giữa BigQuery và Looker Studio sẽ thực tế hơn.

Databricks cho dữ liệu lớn + tích hợp AI/ML. Xử lý hiệu quả lượng dữ liệu khổng lồ, bao gồm cả dữ liệu phi cấu trúc, trong kho dữ liệu và hoàn tất tinh chỉnh LLM + triển khai + phát triển agent RAG + AI cùng một lúc. Dựa trên mức sử dụng hàng tháng, ứng dụng được yêu thích dành cho các công ty lớn + dữ liệu SaaS cỡ trung + nền tảng tích hợp AI. Snowflake khác biệt nhờ là "công ty gốc ML/AI" trong danh mục cạnh tranh và quy mô của nó đang nhanh chóng mở rộng với tư cách là một công ty niêm yết.