vLLM là một khung suy luận LLM mã nguồn mở. Nó đạt được thông lượng cao nhờ thuật toán PagedAttention độc đáo và có thể xây dựng các API tương thích với OpenAI trên các máy chủ GPU của riêng mình.
vLLM là khung suy luận LLM mã nguồn mở được phát triển bởi LMSYS Lab. Thuật toán "PagedAttention" độc đáo quản lý động bộ đệm KV của GPU giống như bộ nhớ ảo và bằng cách kết hợp nó với xử lý hàng loạt liên tục, nó đạt được thông lượng gấp 24 lần so với HuggingFace Transformers. Vì nó có API tương thích với OpenAI được tích hợp sẵn nên điểm mạnh lớn nhất của nó trong hoạt động thực tế là các ứng dụng khách API ChatGPT hiện tại có thể được sử dụng lại mà hầu như không cần sửa đổi.
Cách lựa chọn trong lĩnh vực này vào năm 2026: Nếu bạn muốn chạy một mô hình duy nhất dưới tải trọng cao, vLLM là lựa chọn hàng đầu. Nó có thể được mở rộng thành cấu hình nhiều GPU bằng cách sử dụng song song tensor và có thể xử lý Llama 3.1 70B ở cấp độ thương mại với cấu hình A100 x 8 chip. Giá thị trường là 400.000 đến 600.000 yên Nhật mỗi tháng cho đám mây A100 SXM4×8 theo yêu cầu (GCP/AWS). Đối với quy mô nhỏ, lượng tử hóa 4 bit + RTX 4090 x 2 trên thực tế sẽ có giá khoảng 50.000 yên Nhật mỗi tháng.
Có 3 cạm bẫy. ① Tải động LoRA gây áp lực lên bộ nhớ GPU và có xu hướng gây ra OOM khi số lượng mô hình tăng lên. ② Kết hợp với Flash Chú ý 2 phụ thuộc vào trình điều khiển CUDA, khiến việc xây dựng môi trường trở nên phức tạp. ③Với lượng tử hóa AWQ/GPTQ, phạm vi cải thiện thông lượng sẽ khác nhau rất nhiều tùy thuộc vào kiểu máy. ReviewAI đề xuất một cấu hình trong đó việc xác minh cục bộ được thực hiện bằng LM Studio trước khi sản xuất thực tế, sau đó thực hiện di chuyển từng bước bằng vLLM trên RunPod.