FauxPilot

chì

FauxPilot là máy chủ hoàn thiện mã AI mã nguồn mở tương thích với GitHub Copilot. Chạy các mô hình Salesforce CodeGen trên GPU cục bộ của bạn và hoàn thành mà không cần gửi bất kỳ mã nguồn nào tới đám mây bên ngoài. Tùy chọn này phù hợp với các công ty trong ngành tài chính, y tế và quốc phòng nơi tính bảo mật mã là điều kiện tiên quyết để đảm bảo tính liên tục trong kinh doanh cũng như cho các tổ chức phát triển muốn tránh khoản phí hàng tháng từ 10 USD đến 19 USD của Copilot. Nó có thể được cài đặt đơn giản bằng cách thay thế điểm cuối của tiện ích mở rộng Copilot và chi phí học tập ở phía biên tập viên gần như bằng không.

Các tính năng chính

API tương thích với Copilot: Vì nó chấp nhận các yêu cầu mở rộng VS Code Copilot, nên nó có thể được chuyển đổi bằng cách viết lại một dòng của tệp cấu hình. Chi phí đào tạo khi di chuyển đội giảm từ vài ngày xuống còn vài giờ so với phương pháp thông thường. Thực thi hoàn toàn cục bộ: Các mô hình Host CodeGen 350M/2B/6B/16B trên Máy chủ suy luận NVIDIA Triton. Nó được hoàn thành trong mạng nội bộ, loại bỏ nhu cầu kiểm tra nhật ký gửi API bên ngoài. Triển khai hàng loạt Docker Compose: Chạy setup.sh để khởi động cổng Triton + model + API. Thời gian làm việc truyền thống (2 đến 3 tuần) để xây dựng tại chỗ giảm xuống còn khoảng nửa ngày. Tương thích với nhiều mô hình: Bạn có thể chuyển từ 350M nhẹ sang 16B có ​​độ chính xác cao tùy thuộc vào ứng dụng và sự cân bằng giữa bộ nhớ GPU và độ chính xác có thể được điều chỉnh theo từng bộ phận.

Biên bản xác minh của ban biên tập

GitHub Copilot Sau khi so sánh phí công cộng cho Doanh nghiệp ($19/người dùng/tháng) và Doanh nghiệp ($39/người dùng/tháng), chúng tôi nhận thấy rằng phí giấy phép từ $22.800 đến $46.800 mỗi năm có sẵn cho một tổ chức phát triển có 100 người. Tuy nhiên, FauxPilot là mã nguồn mở (giấy phép MIT) và không có chi phí ban đầu, đồng thời chúng tôi ước tính rằng nó có thể được chia sẻ trên toàn công ty với một GPU tương đương A100 (300 đến 800 USD mỗi tháng trên đám mây hoặc khoảng 1 triệu USD với số lượng lớn). Đối với các tổ chức có hơn 50 người, người ta ước tính rằng lợi tức đầu tư có thể đạt được trong vòng khoảng một năm. Hai điểm khác biệt là "khả năng tương thích API Copilot" và "tối ưu hóa suy luận bằng Triton" và cấu trúc giảm thiểu các thay đổi về phía trình soạn thảo so với các lựa chọn thay thế mã nguồn mở khác như Tabby và Continue.dev. Mặt khác, do mô hình CodeGen mới nhất sẽ được phát hành vào năm 2022 nên cần lưu ý rằng độ chính xác hoàn thành của API thư viện mới nhất kém hơn so với Copilot.

Người dùng dự định

Nó phù hợp cho các công ty phát triển hợp đồng trong lĩnh vực tài chính, y tế và công cộng không thể tiết lộ mã bí mật cho bên ngoài, cũng như các tổ chức có từ 50 kỹ sư trở lên muốn giảm chi phí giấy phép Copilot. Mặt khác, Copilot Pro ($10/tháng) và Cursor thường tiết kiệm chi phí hơn cho các nhóm nhỏ không có kiến ​​thức về hoạt động GPU hoặc các nhà phát triển cá nhân ưu tiên tính chính xác của việc bổ sung các khung mới nhất.

GitHub Copilot thay thế cho mã nguồn mở. Hoàn thành mã AI cục bộ chạy trên máy chủ của riêng bạn, API tương thích Copilot cho phép di chuyển với những thay đổi tối thiểu đối với cài đặt trình chỉnh sửa. Hoàn toàn miễn phí, dành cho các công ty có bảo mật nghiêm ngặt + các tổ chức không muốn lộ mã của mình ra bên ngoài. Vị trí của Tabnine như một sự thay thế mã nguồn mở, và mặc dù các hoạt động phát triển của nó có phần trì trệ, nó vẫn là một lựa chọn cho những ai muốn "tự vận hành".