Open WebUI

Open WebUI là giao diện người dùng trò chuyện AI mã nguồn mở có thể tự lưu trữ trên máy chủ hoặc PC cục bộ của riêng bạn. Bạn có thể chuyển đổi giữa LLM cục bộ do Ollama cung cấp và các API đám mây như OpenAI và Anthropic từ cùng một màn hình và nó được định vị là nền tảng cho các hệ thống thông tin và bộ phận kỹ thuật muốn kết hợp AI được tạo vào công việc của họ mà không gửi dữ liệu nội bộ lên đám mây. Nó được đặc trưng bởi sự dễ dàng khởi động với một Docker duy nhất và UX tương tự như ChatGPT.

Các tính năng chính

1. Tích hợp nhiều mô hình: Sử dụng chéo các mô hình cục bộ của Ollama (Llama 3, Gemma, Qwen, v.v.) và các API tương thích OpenAI trong một giao diện người dùng duy nhất. Lời nhắc tương tự có thể được gửi song song tới nhiều mô hình và các câu trả lời có thể được so sánh, giảm thời gian xác minh cần thiết để lựa chọn mô hình từ vài ngày xuống còn vài giờ.

2. RAG (tìm kiếm tài liệu nội bộ): Được trang bị chức năng RAG tiêu chuẩn tải lên PDF, Word và văn bản, vector hóa nó và cho phép bạn trả lời trong khi tham khảo các tài liệu nội bộ. Không cần thiết phải giới thiệu một công cụ riêng để tìm kiếm kiến ​​thức.

3. Quản lý nhiều người dùng và quyền: Có thể tạo người dùng theo bộ phận, kiểm soát truy cập theo mô hình và trực quan hóa nhật ký sử dụng. Tìm kiếm trên web, thực thi mã và tạo hình ảnh (hợp tác SD/DALL-E) cũng được bao gồm.

4. Lời nhắc & Chức năng tùy chỉnh: Biến các mẫu nội bộ thành không gian làm việc và mở rộng các chức năng của riêng bạn bằng Python.

Biên bản xác minh của ban biên tập

Sau khi xem xét các kho lưu trữ công khai và các tài liệu chính thức, chúng tôi nhận thấy rằng phiên bản mã nguồn mở của Open WebUI hoàn toàn miễn phí, không có giới hạn về chức năng và gói trả phí (được mô tả trên trang định giá) dành cho các doanh nghiệp có hỗ trợ. So với nhóm ChatGPT trên đám mây thương mại có giá 25 USD/tháng cho mỗi chỗ ngồi và Enterprise có giá 60 USD/tháng, chúng tôi ước tính rằng đối với một nhóm 20 người, chi phí đăng ký hàng năm có thể giảm khoảng 600.000 đến 1.440.000 yên Nhật. Chi phí máy chủ bắt đầu từ 30.000 đến 80.000 yên Nhật mỗi tháng cho VPS có GPU và không phải trả thêm phí cho việc suy luận bằng Ollama+Llama 3 70B. So với các đối thủ cạnh tranh như LibreChat và AnythingLLM, điểm khác biệt là tích hợp gốc Ollama, RAG và quản lý người dùng đều có sẵn trong một gói.

Người dùng dự định

Lý tưởng cho các hệ thống CNTT/nhóm SRE muốn triển khai LLM nội bộ mà không gửi thông tin bí mật ra bên ngoài và cho các tổ chức phát triển muốn nội bộ hóa quy trình công việc AI. Mặt khác, Nhóm ChatGPT và Claude.ai dựa trên SaaS phù hợp hơn với các nhóm nhỏ bao gồm chủ yếu là những người không phải là kỹ sư và không có tài nguyên vận hành máy chủ.

Giao diện người dùng trò chuyện mã nguồn mở AI tự lưu trữ. Thiết kế có tính ứng dụng cao hỗ trợ Ollama + nhiều API khác nhau (OpenAI/Anthropic, v.v.) và bao gồm Markdown + đánh dấu mã + tạo hình ảnh + đầu vào âm thanh. Hoàn toàn miễn phí và được phát triển tích cực trên GitHub. Giao diện người dùng tiêu chuẩn dành cho các tổ chức đang tìm kiếm "sự tự quản lý dữ liệu hoàn toàn" + nhóm LLM cục bộ, danh mục cạnh tranh của LibreChat.