LiteLLM là API tích hợp/proxy LLM mã nguồn mở có thể gọi API từ nhiều nhà cung cấp LLM như OpenAI và Anthropic vào một giao diện tương thích với OpenAI duy nhất.
LiteLLM (LLM Proxy/API tích hợp) là phần mềm trung gian nguồn mở tổng hợp các lệnh gọi API đến hơn 100 nhà cung cấp LLM như OpenAI, Anthropic, Google và AWS Bedrock vào một điểm cuối duy nhất ở định dạng tương thích với OpenAI, cho phép chuyển đổi mô hình và dự phòng mà không cần thay đổi mã. Nó có thể được triển khai dưới dạng SDK hoặc máy chủ proxy và được sử dụng rộng rãi để tập trung việc quản lý khóa API và đo lường chi phí do nhiều nhóm thực hiện. Trong hoạt động thực tế tính đến năm 2026, ngày càng có nhiều trang web sử dụng bộ nhớ đệm, giới hạn tốc độ và chức năng tổng hợp chi phí theo yêu cầu để trực quan hóa chi phí LLM trung bình, nhưng có một nhược điểm là nếu nhà cung cấp chậm theo kịp các thay đổi về đặc tả API thì lớp tương thích sẽ bị hỏng, dẫn đến lỗi sản xuất. Ngoài ra, trong trường hợp tự lưu trữ, tính khả dụng và độ trễ của proxy có xu hướng trở thành nút thắt cổ chai và tùy thuộc vào lưu lượng truy cập, việc lựa chọn giữa Proxy LiteLLM được quản lý và phiên bản mã nguồn mở sẽ là yếu tố quyết định tối ưu hóa chi phí tại chỗ.