Điểm kiểm tra độ dốc là một phương pháp giúp giảm mức sử dụng bộ nhớ GPU bằng cách không lưu trữ các kích hoạt trung gian trong quá trình đào tạo mô hình và tính toán lại chúng khi cần thiết.
Điểm kiểm tra độ dốc được coi là một phương pháp tối ưu hóa tiêu chuẩn để tránh tình trạng thiếu bộ nhớ GPU trong đào tạo học sâu. Lan truyền ngược lỗi thông thường lưu trữ tất cả các kích hoạt trung gian cho mỗi lớp trong bộ nhớ, nhưng phương pháp này chỉ lưu kết quả đầu ra của một số lớp và tính toán lại các kích hoạt cần thiết trong quá trình lan truyền ngược, giảm đáng kể mức sử dụng bộ nhớ. Nó được đưa vào như một tính năng tiêu chuẩn trong các framework chính như PyTorch và TensorFlow, đồng thời được sử dụng rộng rãi để tinh chỉnh các mô hình ngôn ngữ quy mô lớn. Trong hoạt động thực tế tính đến năm 2026, người ta biết đến một cạm bẫy về mặt chi phí là thời gian tính toán để tính toán lại sẽ tăng khoảng 20 đến 30% để đổi lấy việc giảm bộ nhớ, và người ta cho rằng trong thực tế sẽ cần đưa ra quyết định đánh đổi giữa việc tăng quy mô lô để tăng hiệu quả học tập, hoặc ưu tiên thời gian học và không sử dụng phương pháp này. Do chi phí thuê đám mây GPU vẫn ở mức cao nên khả năng xử lý các mô hình quy mô lớn ngay cả với GPU bộ nhớ nhỏ đang trở nên quan trọng hơn như một lý do để lựa chọn.