Snorkel AI

Snorkel AI là một nền tảng phát triển AI tập trung vào dữ liệu nhằm hợp lý hóa việc tạo dữ liệu đào tạo cho các mô hình học máy bằng cách sử dụng "gắn nhãn theo chương trình". Công việc trước đây yêu cầu chú thích thủ công hàng chục nghìn tài liệu giờ đây có thể được xử lý tất cả cùng một lúc bằng cách ghi nó dưới dạng chức năng ghi nhãn. Nó được thiết kế cho các bộ phận MLOps của doanh nghiệp xử lý các tài liệu tài chính, y tế và pháp lý bí mật cũng như các nhóm phát triển AI muốn tạo dữ liệu để tinh chỉnh nội bộ.

Các tính năng chính

1. Snorkel Flow (gắn nhãn theo chương trình): Bằng cách kết hợp các quy tắc kinh doanh, biểu thức chính quy và đầu ra của các mô hình hiện có như một phương pháp "được giám sát yếu", việc gắn nhãn cho hàng chục nghìn mục có thể được hoàn thành trong vài giờ. Người ta nói rằng một quá trình thường mất từ ​​​​hai đến ba tuần bằng tay có thể được rút gọn thành một ngày.

2. Snorkel Custom (chuyên về mẫu cơ bản): Tự động tạo dữ liệu tinh chỉnh dựa trên tài liệu nội bộ cho các mẫu mở như Llama và Mistral. RAG củng cố các nhiệm vụ chuyên biệt thiếu độ chính xác.

3. Tương thích với doanh nghiệp: Tuân thủ SOC 2, triển khai VPC và vận hành tại chỗ mà không cần gửi dữ liệu ra bên ngoài. Nó cũng có thể được sử dụng cho dữ liệu bí mật từ các tổ chức tài chính và cơ quan chính phủ.

4. Quy trình cải tiến lặp đi lặp lại: Hoàn thành vòng lặp trên giao diện người dùng để phân tích các phân loại sai của mô hình và cải thiện chức năng ghi nhãn. Liên tục cải thiện chất lượng dữ liệu.

Biên bản xác minh của ban biên tập

Sau khi so sánh thông tin và kế hoạch có sẵn công khai từ các đối thủ cạnh tranh (Scale AI, Labelbox, v.v.), Snorkel AI hiện có sẵn ở mức giá cơ bản ước tính chỉ dành cho doanh nghiệp kèm theo hợp đồng hàng năm. Trong khi AI của Thang đo tập trung vào chú thích thủ công và tính phí cho mỗi nhãn, điểm khác biệt lớn nhất của Snorkel là nó nhằm mục đích loại bỏ lao động thủ công bằng cách viết các quy tắc. So với chi phí ước tính của việc thuê ngoài ghi nhãn cho 100.000 mặt hàng (vài chục yên Nhật mỗi mặt hàng), có những trường hợp triển khai Snorkel có thể giảm chi phí chú thích hàng chục triệu yên Nhật mỗi năm và ROI trở nên rõ rệt hơn khi lượng dữ liệu tăng lên. Mặt khác, việc triển khai đòi hỏi nhân lực của một kỹ sư máy học, do đó, thực tế có thể dự kiến ​​giai đoạn PoC sẽ mất từ ​​3 đến 6 tháng.

Người dùng dự định

Nó phù hợp cho các nhóm MLOps trong ngành tài chính, y tế và sản xuất muốn chuyển đổi tài liệu nội bộ quy mô lớn thành dữ liệu học tập và cho các công ty phát triển AI muốn tinh chỉnh LLM của riêng họ. Mặt khác, nó không phù hợp với các công ty khởi nghiệp dán nhãn hàng nghìn trường hợp hoặc các tổ chức không có kỹ sư máy học và yêu cầu quản lý hoàn chỉnh do chi phí đầu tư và học tập ban đầu.

Nền tảng phát triển AI tập trung vào dữ liệu. Ghi nhãn theo lập trình (tự động ghi nhãn lượng lớn dữ liệu bằng cách viết quy tắc) giúp việc tạo dữ liệu đào tạo hiệu quả hơn 100 lần, phù hợp để xử lý các tài liệu bí mật. Giá doanh nghiệp bắt đầu từ vài nghìn đô la mỗi tháng và nhiều triển khai đang được phát triển trong các mô hình AI quy mô đầy đủ bởi các cơ quan tài chính, y tế và chính phủ lớn. Một giải pháp thay thế ưu việt cho Labelbox/Label Studio, một vị trí "thay đổi nhận thức chung về tạo dữ liệu ML".