Độ trễ P95 là giá trị nằm ở phân vị thứ 95 tính từ dưới lên khi thời gian phản hồi yêu cầu được sắp xếp theo thứ tự thời gian phản hồi giảm dần và là chỉ số hiển thị một số quá trình xử lý chậm (độ trễ ở đuôi) không hiển thị trong giá trị trung bình.
Độ trễ P95 là giá trị đo thời gian phản hồi yêu cầu đối với hệ thống và khi được sắp xếp theo thứ tự tốc độ giảm dần, 95% phản hồi sẽ nằm trong khoảng thời gian đó. Nó được cho là được sử dụng rộng rãi như một chỉ báo tiêu chuẩn ngành để nắm bắt một số quá trình xử lý chậm (độ trễ đuôi) ẩn trong độ trễ trung bình. Nếu chỉ nhìn vào giá trị trung bình, bạn rất dễ bỏ qua trải nghiệm chờ đợi một số yêu cầu từ vài giây đến hàng chục giây, ngay cả khi hầu hết người dùng cảm thấy nó nhanh chóng. Trong hoạt động thực tế kể từ năm 2026, P95 có xu hướng tăng vọt trong quá trình xử lý agent kết hợp lệnh gọi API LLM và tìm kiếm RAG, đồng thời độ trễ ở đuôi có xu hướng tăng lên khi số lượng lệnh gọi mô hình tăng lên. Cách tiêu chuẩn để chọn một trong trường là sử dụng P95 (P99 trong một số trường hợp) để xử lý đồng bộ hướng đến người dùng và tập trung vào giá trị trung bình và thông lượng để xử lý hàng loạt. Bí quyết để tránh những cạm bẫy thực tế là hiểu tâm lý thị trường, bao gồm giám sát chi phí và các biện pháp đối phó (bộ nhớ đệm, thiết kế hết thời gian chờ, giải đồng bộ hóa) và kết hợp chúng vào thiết kế SLA.