text-generation-webui

Kho lưu trữ của phần mềm này do ông oobabooga phát triển đã được chuyển đến github.com/oobabooga/textgen và tên sản phẩm đã được đổi thành "TextGen". Giao diện người dùng web dựa trên Gradio trước đây đã được làm lại thành một ứng dụng dành cho máy tính để bàn để chạy LLM cục bộ và được định cấu hình là ``không đo từ xa và hoàn toàn ngoại tuyến''. Các yêu cầu về tài nguyên bên ngoài và yêu cầu cập nhật từ xa cũng đã giảm xuống mức 0.

Các tính năng chính

Tải xuống, giải nén và nhấp đúp vào textgen để khởi chạy nó sau khoảng một phút. Các bản dựng di động (chỉ CUDA / Vulkan / ROCm / CPU) có sẵn cho Windows / macOS / Linux, với các phần phụ thuộc đi kèm và tương thích với mô hình GGUF (llama.cpp). Ngoài các chế độ hướng dẫn, trò chuyện-hướng dẫn và trò chuyện, nó còn hỗ trợ định dạng tự động bằng các mẫu Jinja2, Vision với tệp đính kèm hình ảnh, tệp đính kèm văn bản/PDF/.docx, chỉnh sửa tin nhắn và phân nhánh hội thoại. Phần phụ trợ có thể được chuyển đổi giữa llama.cpp / ik_llama.cpp / Transformers / ExLlamaV3 / TensorRT-LLM mà không cần khởi động lại. Được trang bị API tương thích OpenAI/Anthropic (tương thích với lệnh gọi công cụ), bạn cũng có thể sử dụng các chức năng tùy chỉnh như tìm kiếm trên web và truy xuất trang (đơn vị tệp .py 1), máy chủ MCP, tinh chỉnh LoRA và tab tạo hình ảnh bằng mô hình bộ khuếch tán.

Người dùng dự định

Thích hợp cho các cá nhân và nhà phát triển muốn chạy LLM cục bộ mà không gửi nó lên đám mây. Nó cũng phù hợp cho những người muốn kết nối với các ứng dụng hiện có như một giải pháp thay thế tùy ý cho các API tương thích với OpenAI/Anthropic và cho những người muốn đào tạo dữ liệu của riêng họ bằng LoRA.

Giao diện người dùng trình duyệt dựa trên Gradio để thực thi LLM cục bộ (được phát triển bởi oobabooga). Trên thực tế, đây là lựa chọn dành cho nghiên cứu và thử nghiệm vì nó cho phép bạn chuyển đổi giữa các mô hình lượng tử hóa như GGUF/GPTQ và thực hiện các cuộc đối thoại, đồng thời có vô số plugin mở rộng. Hoàn toàn miễn phí và mã nguồn mở. "Giao diện người dùng cục bộ đầu tiên" dành cho các nhà phát triển và nhà nghiên cứu AI dùng thử LLM nguồn mở. LM Studio phù hợp hơn với người dùng phổ thông.