API hàng loạt là phương pháp sử dụng API LLM để xử lý một số lượng lớn yêu cầu suy luận một cách không đồng bộ và ưu tiên chi phí thấp hơn là phản hồi ngay lập tức.
API hàng loạt là một cơ chế suy luận hàng loạt không đồng bộ được cung cấp bởi các nhà cung cấp LLM lớn như OpenAI và Anthropic. Nó được cho là có thể được sử dụng với mức giá thấp hơn đáng kể so với các API thời gian thực thông thường bằng cách đưa một số lượng lớn yêu cầu không yêu cầu phản hồi theo thời gian thực vào hàng đợi và xử lý chúng với thời gian ân hạn từ vài phút đến 24 giờ. Giá thị trường được cho là chỉ bằng khoảng một nửa so với API đồng bộ và vì nó có tác dụng giảm chi phí lớn nên nó được áp dụng rộng rãi cho các tác vụ phù hợp để xử lý hàng loạt, chẳng hạn như phân loại, tóm tắt, tạo nhúng và tạo bộ dữ liệu để đánh giá lượng lớn dữ liệu. Tuy nhiên, trong hoạt động thực tế kể từ năm 2026, sẽ khó đọc được thời gian trả về kết quả và sẽ không thể sử dụng được đối với các chức năng của người dùng yêu cầu hiệu năng theo thời gian thực. Những cạm bẫy khác cũng được chỉ ra, chẳng hạn như thứ tự xử lý không được đảm bảo, nhu cầu truyền lại các yêu cầu không thành công cũng như giới hạn tốc độ và giới hạn thực hiện đồng thời khác nhau tùy theo nhà cung cấp. Khi chọn API lô tại hiện trường, thông lệ tiêu chuẩn trước tiên là xác định xem quá trình xử lý phụ trợ có tốc độ phản hồi chấp nhận được hay không và thiết kế nó tách biệt rõ ràng với các khu vực yêu cầu tức thời.