SwiGLU (chức năng kích hoạt) là một chức năng kích hoạt kết hợp chức năng Swish và GLU (cơ chế cổng) và được sử dụng để nâng cao tính biểu cảm trong lớp Feed-Forward của LLM.
SwiGLU là một chức năng kích hoạt kết hợp chức năng kích hoạt Swish (SiLU) và cơ chế cổng của GLU (Gated Linear Unit), đồng thời được cho là có thể nâng cao sức mạnh biểu đạt của lớp Feed-Forward so với ReLU và GELU thông thường, đồng thời được sử dụng làm tiêu chuẩn công nghiệp trong các khối biến áp của LLM chính, bao gồm các hệ thống PaLM và LLaMA. Do hệ thống GLU có hai ma trận trọng số, một cho cổng và một cho giá trị, nên số lượng tham số có xu hướng tăng ngay cả với cùng một chiều ẩn so với hàm kích hoạt đơn giản và nhiều cách triển khai được cho là giảm chiều ẩn xuống khoảng 2/3 để giữ nguyên số lượng tham số. Trong hoạt động thực tế kể từ năm 2026, đã có báo cáo cho rằng nếu việc điều chỉnh kích thước này bị bỏ qua và việc triển khai ReLU chỉ được thay thế bằng SwiGLU, thì số lượng tham số và chi phí tính toán sẽ tăng nhiều hơn dự kiến. Đây là điểm cần cẩn thận vì nó liên quan trực tiếp đến giá thị trường của chi phí trước khi học. Trong lĩnh vực xem xét tinh chỉnh và giảm trọng lượng của các mô hình hiện có, người ta nói rằng việc kiểm tra kiến trúc khi chọn mô hình đang được thiết lập, vì sự khác biệt trong chức năng kích hoạt ảnh hưởng đến tốc độ suy luận và mức sử dụng bộ nhớ.