Kích thước lô là số lượng mẫu dữ liệu huấn luyện được sử dụng để cập nhật một tham số trong mô hình học máy.
Kích thước lô là một thuật ngữ tiêu chuẩn ngành dùng để chỉ số lượng mục dữ liệu huấn luyện được sử dụng cho một lần cập nhật trọng số trong quá trình học mạng nơ-ron và được chọn tùy thuộc vào mục đích, từ một lô nhỏ vài chục mục đến một lô lớn vài nghìn mặt hàng. Mặc dù việc tăng kích thước sẽ ổn định quá trình học, giúp song song hóa dễ dàng hơn và cải thiện hiệu quả tính toán của GPU, nhưng VRAM cần thiết sẽ tăng tuyến tính, do đó giới hạn trên của bộ nhớ GPU có thể sẽ trở thành mức trần trên thực tế cho kích thước lô trong hoạt động thực tế kể từ năm 2026. Mặt khác, nếu quá nhỏ, quá trình học sẽ trở nên không ổn định hoặc quá trình hội tụ trở nên chậm. Phương pháp lựa chọn chung tại hiện trường là trước tiên ước tính giá trị tối đa có thể đáp ứng dựa trên dung lượng VRAM của GPU đang được sử dụng, sau đó điều chỉnh tốc độ học theo kích thước lô (tỷ lệ tuyến tính, v.v.) và thu hẹp giá trị đó xuống bằng cách xem xét độ chính xác của quá trình xác minh. Do GPU đám mây chủ yếu được tính phí mỗi giây nên chi phí có xu hướng tăng nếu việc học được thực hiện trong thời gian dài với kích thước lô nhỏ, do đó, phương pháp giảm chi phí bằng cách tái tạo giả một lô lớn bằng cách sử dụng tích lũy độ dốc cũng được sử dụng rộng rãi.