Kelet

Kelet là agent Phân tích nguyên nhân gốc (RCA) giúp phân lập nguyên nhân cốt lõi của "khiếm khuyết khó nhìn thấy" xảy ra trong các ứng dụng LLM, chẳng hạn như chất lượng đầu ra kém, ảo giác, độ trễ kém hơn và hành vi ngoài ý muốn của lời nhắc. Bằng cách tập trung vào hành vi dành riêng cho LLM mà không thể nắm bắt được bằng các công cụ giám sát nhật ký và APM chung cũng như phân tích chéo nhật ký và dấu vết, chúng tôi xác định được quy trình nào mà chất lượng đã suy giảm. Công cụ này được thiết kế để hỗ trợ công việc gỡ lỗi và cải tiến chất lượng của các nhóm kỹ thuật vận hành AI được tạo ra trong các tổ chức phát triển AI agent và sản xuất.

Các tính năng chính

Phân tích dấu vết LLM: Trực quan hóa các lời nhắc, bối cảnh đầu vào, đầu ra mô hình và xử lý hậu kỳ dưới dạng một chuỗi các luồng và tách biệt các quy trình có chất lượng bị suy giảm. Thiết kế này nhằm mục đích nén việc điều tra nhật ký, công việc mà một kỹ sư có kinh nghiệm phải mất nửa ngày, chỉ còn vài phút.

Xác định nguyên nhân gây ảo giác: Khi kết quả đầu ra sai lệch so với sự thật, hãy ước tính xem nguyên nhân là do thiếu ngữ cảnh, độ chính xác của tìm kiếm hay cấu trúc gợi ý. Người ta cho rằng nó sẽ được sử dụng để tìm hiểu xem Retriever nào trong đường dẫn RAG trả về mục tương ứng.

Phân tách độ trễ: Cắt giảm thời gian cần thiết cho mỗi lớp, chẳng hạn như gọi mô hình, gọi công cụ và tạo nhúng cũng như hiện tại các quy trình thắt cổ chai.

Phát hiện hồi quy: So sánh và theo dõi các mô hình suy giảm chất lượng đầu ra trước và sau khi thay đổi nhanh chóng hoặc cập nhật phiên bản mô hình.

Biên bản xác minh của ban biên tập

Ban biên tập đã so sánh các yêu cầu chức năng với các sản phẩm thông tin công cộng và khả năng quan sát trong các danh mục tương tự (LangSmith, Langfuse, Arize Phoenix, Helicone, v.v.). Điểm khác biệt của Kelet là thay vì “con người suy ra nguyên nhân bằng cách nhìn vào bảng điều khiển”, agent tự thực hiện RCA và đưa ra giả thuyết nhân quả. Các gói giá không được nêu rõ trên trang web chính thức (kelet.ai) và người ta cho rằng việc triển khai thương mại sẽ dựa trên các yêu cầu. Nếu một kỹ sư dành 8 giờ một tuần để gỡ lỗi ứng dụng LLM (tương đương 150.000 đến 200.000 yên Nhật mỗi tháng chi phí lao động), nếu thời gian RCA có thể giảm đi một nửa, số giờ công dự kiến ​​​​sẽ giảm từ 70.000 đến 100.000 yên Nhật mỗi tháng. Có thể nói rằng các công ty khởi nghiệp AI không có SRE chuyên dụng có cấu trúc cho phép hoàn vốn đầu tư nhanh hơn.

Người dùng dự định

Nó phù hợp cho các nhóm phát triển và vận hành có agent LLM/AI trong sản xuất và đang lãng phí thời gian để tách biệt các biến thể và lỗi về chất lượng. Mặt khác, đối với mục đích sử dụng nhẹ nhàng như chatbot nội bộ hoặc khi lời nhắc vẫn đang ở giai đoạn nguyên mẫu thì sẽ là một khoản đầu tư quá mức, vì vậy việc truy tìm nhẹ như APM đa năng hoặc Langfuse sẽ là đủ.

agent phân tích nguyên nhân gốc rễ trong ứng dụng LLM. Dành riêng cho việc gỡ lỗi ảo giác, vấn đề về độ trễ, trục trặc nhanh chóng, v.v. Xác định "sự cố đã xảy ra ở giai đoạn nào" thông qua phân tích nhật ký + dấu vết. Chuyên gỡ lỗi trong danh mục khả năng quan sát (LangSmith/Helicone) cho các nhóm vận hành và phát triển LLM. Dành cho các tổ chức kỹ thuật chạy ứng dụng LLM trong sản xuất.