Tốc độ học tập là một siêu tham số xác định số lượng tham số được cập nhật trong quá trình học mạng nơ-ron.
Tốc độ học tập là một siêu tham số kiểm soát độ rộng bước mỗi lần khi cập nhật các tham số mô hình theo độ dốc giảm dần. Nếu giá trị quá lớn thì tổn thất sẽ phân kỳ, còn nếu quá nhỏ thì sẽ mất thời gian để hội tụ. Là một trong những mục tiêu điều chỉnh cơ bản nhất trong học sâu, nó được coi là một tập hợp các thuật toán tối ưu hóa như Adam và SGD làm tiêu chuẩn ngành. Trong các hoạt động thực tế kể từ năm 2026, việc lập kế hoạch không cố định tốc độ học và giảm dần tốc độ học sau khi khởi động bằng cách sử dụng lịch cosine hoặc phân rã tuyến tính đã được áp dụng rộng rãi và ngay cả trong hoạt động học tập bổ sung như Tinh chỉnh và LoRA, việc sử dụng tốc độ học tập thấp hơn so với trước khi học được coi là thông lệ tiêu chuẩn trong thực tế. Những cạm bẫy bao gồm vấn đề tốc độ học quá cao và tổn thất trở thành NaN hoặc ngược lại quá thấp làm tăng chi phí tính toán và thời gian sử dụng GPU. Xem xét giá thị trường của GPU đám mây, việc quản lý chi phí cho việc tìm kiếm tốc độ học tập cũng là một quan điểm quan trọng trong lĩnh vực này. Khi chọn công cụ và sử dụng thư viện, bạn nên sử dụng các khung có chức năng điều chỉnh tự động và các giá trị mặc định được đề xuất, đồng thời tránh chỉ dựa vào chẩn đoán.