Softmax là một hàm chuyển đổi nhiều số thành phân bố xác suất có tổng bằng 1 và được sử dụng để phân loại mạng thần kinh và đầu ra sự chú ý.
Softmax là hàm chuẩn hóa bất kỳ vectơ thực nào thành phân bố xác suất có tổng bằng 1 bằng cách chuyển đổi từng phần tử bằng hàm mũ rồi chia cho tổng. Nó được sử dụng làm tiêu chuẩn công nghiệp ở lớp cuối cùng của mô hình phân loại và là cốt lõi của việc tính toán trọng lượng trong sự chú ý của Transformer. Trong các hoạt động thực tế kể từ năm 2026, gần như bắt buộc phải thực hiện ổn định số bằng cách trừ đi giá trị tối đa trước khi tính toán như một biện pháp đối phó với tình trạng tràn và người ta thường báo cáo trong hiện trường rằng nếu điều này không được thực hiện, NaN sẽ xuất hiện trong suy luận của các mô hình quy mô lớn. Hơn nữa, mặc dù bản thân chi phí tính toán của Softmax là nhỏ nhưng trong các LLM có vốn từ vựng lớn, phép tính Softmax ở lớp đầu ra ảnh hưởng đến chi phí suy luận trung bình nên các phương pháp xấp xỉ dựa trên lấy mẫu thường được chọn. Khả năng điều chỉnh độ sắc nét của phân bố xác suất bằng cách sử dụng các tham số nhiệt độ cũng được coi là một điểm thiết kế để sử dụng trong thực tế.