Giới hạn tốc độ là cơ chế đặt giới hạn trên cho số lượng yêu cầu API có thể được chấp nhận trong một khoảng thời gian nhất định nhằm ngăn chặn việc truy cập quá mức và tình trạng quá tải của máy chủ.
Giới hạn tốc độ là một cơ chế trong đó các nhà cung cấp API đặt giới hạn trên cho số lượng yêu cầu trong một khoảng thời gian nhất định nhằm ngăn chặn việc tải máy chủ và sử dụng trái phép, đồng thời việc triển khai tiêu chuẩn ngành phải được thông báo với trạng thái HTTP 429 (Quá nhiều yêu cầu). Nhiều API LLM áp dụng rộng rãi phương pháp áp đặt giới hạn cho cả RPM (yêu cầu mỗi phút) và TPM (mã thông báo mỗi phút) và thậm chí kể từ năm 2026, thiết kế này có liên quan trực tiếp đến chi phí của các gói trả theo mức sử dụng. Một cạm bẫy trong hoạt động thực tế là việc xử lý hàng loạt hoặc các trường hợp trong đó các AI agent gửi nhiều yêu cầu đồng thời có thể dễ dàng dẫn đến lỗi sản xuất nếu không thực hiện thử lại quá trình xử lý. Cách tiêu chuẩn để chọn một kế hoạch tại hiện trường là thiết kế một kế hoạch kết hợp thời gian chờ theo cấp số nhân và thử lại với độ biến động, yêu cầu xếp hàng và giảm bớt giới hạn trên bằng cách nâng cấp lên gói cao hơn. Từ góc độ tối ưu hóa chi phí, cần thiết lập cảnh báo thông qua giám sát trước khi đạt đến giới hạn và để tránh các tình huống mà những lần thử lại không cần thiết chỉ làm tăng phí.