SwiGLU là gì? Giải thích dễ hiểu và minh họa về chức năng kích hoạt giúp cải thiện hiệu suất của LLM

Các điểm chính của bài viết này SwiGLU là một chức năng kích hoạt được sử dụng trong "lớp tiếp liệu" bên trong Máy biến áp. Nó đã được đề xuất trong bài báo của Shazeer vào năm 2020 và hiện là tiêu chuẩn trong các mô hình tiên tiến như PaLM, LLaMA và DeepSeek. Tính năng này là một cơ chế được gọi là "cổng". Mô hình tự tìm hiểu và quyết định truyền hay dừng thông tin tùy thuộc vào đầu vào. Nó có tính biểu cảm cao hơn các hàm đơn giản như ReLU và GELU và chất lượng cao hơn với cùng ngân sách tính toán. Tuy nhiên, tham số là 1,5 lần. Bài viết này sẽ chia nhỏ nó, bao gồm cả sự cân bằng.

Hộp thông tin Ban biên tập

Có thể triển khai trong một vài dòng với PyTorch/JAX

Shazeer 2020 “Các biến thể GLU cải tiến máy biến áp”

Xác nhận lần cuối: Ngày 2 tháng 8 năm 2026 bởi ban biên tập

Khi nhìn vào sơ đồ kiến trúc LLM, chỉ có từ "SwiGLU" bị bỏ qua. Bạn đã bao giờ trải nghiệm một cái gì đó như thế? Sự chú ý được giải thích ở mọi nơi, nhưng FFN (lớp tiếp liệu) bên cạnh nó thường bị bỏ qua vì ``Chà, đó là một lớp được kết nối đầy đủ.''

Nhưng trên thực tế, khoảng 2/3 tham số LLM nằm ở phía FFN. Không chú ý. Nếu chất lượng thay đổi chỉ bằng cách thay đổi các chức năng được sử dụng ở đó thì đây không phải là điều có thể bỏ qua.

SwiGLU là một hàm kích hoạt kết hợp giữa hàm kích hoạt trơn tru gọi là Swish (còn được gọi là SiLU) và cơ chế gọi là GLU (đơn vị tuyến tính có kiểm soát). Noam Shazeer đã đề xuất nó trong bài báo năm 2020 "Các biến thể GLU cải tiến máy biến áp".

SwiGLU thực sự làm gì?

SwiGLU có cấu trúc trong đó "một tuyến sẽ vặn núm âm lượng của tuyến kia". Đối với mỗi đầu vào, mô hình sẽ chọn thông tin nào sẽ truyền và thông tin nào cần loại bỏ.

Đầu tiên, hãy sắp xếp các từ. Hàm kích hoạt là một hàm nhỏ trong mạng nơ-ron xác định xem có nên chuyển giá trị này sang giá trị tiếp theo, làm suy yếu hay xóa nó hay không. Nếu không có điều này, cho dù bạn xếp bao nhiêu lớp thì nó cũng sẽ chỉ là một chuỗi các phép nhân và bạn sẽ không thể học được các mẫu phức tạp.

FFN truyền thống là như thế này.

Kéo dài đầu vào thông qua một ma trận lớn
Truyền chức năng kích hoạt (ReLU, v.v.)
Trở về kích thước ban đầu bằng cách sử dụng lại ma trận

SwiGLU thêm một tuyến đường nữa ở đây. Chuẩn bị hai ma trận để kéo dài, chuyển Swish qua một ma trận và giữ nguyên ma trận kia. Sau đó nhân hai phần tử với phần tử.

Phép nhân này là chìa khóa. Nếu giá trị ở phía đi qua Swish là khoảng 0 thì kết quả sẽ ở khoảng 0 cho dù giá trị ở phía bên kia có lớn đến đâu. Mặt khác, nếu bên Swish gần bằng 1 thì đối thủ sẽ vượt qua gần như không thay đổi. Nói cách khác, một bên đóng vai trò là người gác cổng.

Có lý do nó được gọi là cổng.

Thay vì cắt bỏ dữ liệu một cách thống nhất theo một quy tắc cố định, lượng dữ liệu được truyền sẽ thay đổi tùy thuộc vào nội dung đầu vào. Đây chính là ý nghĩa của "cổng phụ thuộc vào đầu vào".

Tiếp theo chúng ta hãy quan sát hình dáng của Swish, người gác cổng.

Swish (SiLU) có chức năng gì?

Swish chỉ đơn giản là một hàm nhân x với hàm sigmoid. Nó có hình dạng tương tự như ReLU, nhưng điểm khác biệt là nó lõm xuống gần 0.

Công thức là Swish(x) = x × sigmoid(x). Nó còn được gọi là SiLU (Đơn vị tuyến tính Sigmoid) và được triển khai trong PyTorch dưới dạng nn.SiLU.

Tôi sẽ tóm tắt những khác biệt với ReLU.

mục	ReLU	Swish (SiLU)
Xử lý đầu vào tiêu cực	đặt tất cả thành 0	để lại một giá trị hơi âm
Hình dạng xung quanh 0	uốn cong (có góc)	Kết nối mượt mà
Sự liên tục của sự khác biệt	Không liên tục tại 0	liên tục tại mọi điểm
chi phí tính toán	cực kỳ nhẹ	Tính toán sigmoid nặng
mất thông tin	Thông tin tiêu cực hoàn toàn biến mất	Một số thông tin tiêu cực vẫn còn

Nói cách khác, Swish là “phiên bản mượt mà của ReLU”. Vì không có góc nên độ dốc trong quá trình học (dấu hiệu cho hướng di chuyển vật nặng) sẽ dễ ổn định hơn.

Một cảnh báo nhỏ ở đây. Swish ban đầu có một hệ số gọi là β, đôi khi được viết là x × sigmoid(βx). Đối với SwiGLU được sử dụng trong LLM, dạng trong đó β được cố định bằng 1 (=SiLU) gần như là chuẩn. Đây là lý do tại sao SiLU và Swish thường được sử dụng cùng nhau trong các bài báo, bài báo.

Bằng cách sử dụng chức năng mượt mà làm người gác cổng, bạn có thể tạo trạng thái trung gian chẳng hạn như "mở 60%" thay vì lựa chọn nhị phân đóng hoặc mở. Đây là nguồn gốc của sự biểu cảm.

Tôi cũng muốn đọc nó

TypingMind là gì? Giá và các tùy chọn lựa chọn bắt đầu từ $39 (phiên bản 2026)

TypingMind là màn hình trò chuyện một lần, nơi bạn có thể sử dụng nhiều AI bằng khóa API của riêng mình. Chúng tôi đã sắp xếp các nội dung của Tiêu chuẩn $39, Mở rộng $79 và Cao cấp $99, phiên bản Nhóm bắt đầu từ $83 mỗi tháng, nơi lưu dữ liệu và mức độ bạn có thể sử dụng miễn phí bằng cách sử dụng thông tin chính thức kể từ tháng 8 năm 2026.

Ngày 7 tháng 8 năm 2026

14 bài toán và giải pháp triển khai AI trong các công ty xây dựng và ngành xây dựng

Phải mất nửa ngày để tạo ước tính và bạn có thể thu thập 20 báo cáo hàng ngày. Chúng tôi đã sắp xếp 14 vấn đề gặp phải khi giới thiệu AI trong ngành xây dựng dưới dạng Hỏi đáp. Hầu hết các nguyên nhân không nằm ở hiệu suất của AI mà nằm ở cách nó được phân phối. Nó bao gồm bản tóm tắt chi tiết về báo cáo hàng ngày, cách bắt đầu sau một tuần, chi phí khoảng 3.000 yên Nhật mỗi tháng và những điểm cần lưu ý về trợ cấp.

Ngày 7 tháng 8 năm 2026

Cấu trúc cổng của GLU hoạt động như thế nào?

GLU là một cơ chế tách "tuyến giá trị" và "tuyến cổng" và hợp nhất chúng bằng phép nhân. Phía cổng càng gần 0 thì các đặc tính sẽ được truyền sang lớp tiếp theo càng ít.

Nhai thêm một chút.

FFN thông thường áp dụng một phép biến đổi thống nhất cho đầu vào. Quy tắc “nhấn mạnh các đặc điểm theo hướng này, bỏ qua các đặc điểm theo hướng này” được cố định như một trọng số. Sau khi đào tạo, các quy tắc tương tự sẽ được áp dụng cho dù đầu vào là gì.

GLU thì khác. Các đường dẫn cổng cũng có các trọng số đã học, dẫn đến các kiểu triệt tiêu khác nhau cho mỗi đầu vào. Các tính năng hữu ích thay đổi tùy thuộc vào việc bạn đang xử lý ngữ pháp hay danh từ riêng. Tôi có thể làm những thủ thuật như thế.

GLU có nhiều dẫn xuất. Đây là sự thay thế cho chức năng kích hoạt được sử dụng bên trong.

tên	Chức năng sử dụng cho cổng	Đặc trưng
GLU	sigmoid	Bản gốc. Cổng thuần túy có đầu ra trong khoảng từ 0 đến 1
ReGLU	ReLU	Nhẹ nhưng để lại góc ở mức 0
GEGLU	GELU	Trơn tru. Một số mô hình áp dụng
SwiGLU	Swish (SiLU)	Dòng chính hiện nay. Được thông qua bởi PaLM/LLaMA/DeepSeek

Bài báo của Shazeer đã so sánh chúng với nhau và cho thấy rằng tất cả các dẫn xuất có kiểm soát đều hoạt động tốt hơn FFN đơn giản. Trong số đó, SwiGLU và GEGLU ổn định và tốt.

Kết luận của bài báo là nổi tiếng. Tác giả nửa đùa nửa thật cho rằng lý do thành công của nó là do “lòng nhân từ thần thánh”. Đây là lĩnh vực mà các giải thích lý thuyết đã bị tụt lại phía sau.

Sự trung thực này thực sự có ý nghĩa quan trọng. Chúng ta sẽ đề cập đến nó trong phần tiếp theo.

Tại sao SwiGLU cải thiện hiệu suất?

Vẫn chưa có bằng chứng lý thuyết rõ ràng. Phương pháp này đã được áp dụng vì nó đã được xác nhận nhiều lần bằng thực nghiệm rằng "chất lượng tăng lên với cùng một lượng phép tính".

Đây là một câu trả lời thẳng thắn, nhưng đó là sự thật. Bản thân các tác giả của bài báo gốc cũng tránh đưa ra những giải thích mang tính lý thuyết.

Hiện tại có ba cách giải thích hợp lý.

Cho phép lựa chọn thông tin phụ thuộc vào đầu vào

Khả năng lựa chọn các tính năng theo tình huống cung cấp phạm vi biểu thức rộng hơn so với phép biến đổi phi tuyến cố định. Có quan điểm cho rằng cổng là một loại cơ chế chú ý được đưa vào FFN một cách nhỏ gọn.

Độ dốc dễ chảy

Swish có thể khác biệt ở mọi điểm. Rất khó để hiện tượng như ReLU trở về 0 hoàn toàn (= gradient biến mất) ở mặt âm xảy ra. Mô hình càng sâu thì hiệu quả càng cao.

Bản thân phép nhân có sức biểu cảm

Phép nhân của hai đường dẫn tạo ra các tương tác không thể tạo được bằng phép cộng. Các biểu thức tương tự như "điều kiện AND" giữa các đối tượng địa lý có thể được tạo trong một lớp.

Tuy nhiên, tất cả những lời giải thích này đều là suy nghĩ lại.

Tóm tắt cho đến nay SwiGLU = Swish (kích hoạt trơn tru) x GLU (cấu trúc cổng). Đường dẫn cổng điều chỉnh lượng đi qua đường dẫn giá trị cho mỗi đầu vào. Nó có sức mạnh biểu đạt cao hơn ReLU và GELU, đồng thời chất lượng được cải thiện qua thực nghiệm. Giải thích lý thuyết về lý do vẫn đang được tiến hành.

Mọi người được thuê ngay cả khi họ không biết tại sao. Tình trạng này ảnh hưởng như thế nào đến thực tiễn cần phải được xem xét cùng với số lượng các thông số.

"Lượng tính toán như nhau" dù tham số lớn hơn 1,5 lần nghĩa là gì?

SwiGLU sử dụng 3 ma trận nên nếu bạn chỉ thay thế thì tham số sẽ là 1,5 lần. Vì vậy, người ta thường giảm chiều rộng của lớp giữa xuống còn 2/3 để đáp ứng nhu cầu.

Tôi sẽ giải thích từng bước.

FFN truyền thống sử dụng hai ma trận. Một ma trận để kéo dài và một ma trận để khôi phục. Thông lệ tiêu chuẩn là chiều rộng của lớp giữa phải gấp bốn lần chiều rộng của đầu vào.

Cần có ba mảnh SwiGLU. Một cho cổng, một cho giá trị và một cho trả về. Nếu thay thế bằng cùng chiều rộng thì các tham số của phần FFN sẽ giãn ra gấp 1,5 lần.

thành phần	Số hàng	Chiều rộng lớp trung gian	tỷ lệ tham số
FFN thông thường (ReLU, v.v.)	2 miếng	đầu vào 4x	1.0
SwiGLU (chiều rộng như hiện tại)	3 miếng	đầu vào 4x	1,5
SwiGLU (giảm chiều rộng)	3 miếng	Khoảng 2,67 lần đầu vào	Gần 1,0

Nói cách khác, nếu bạn giảm "4x" xuống "8/3x (khoảng 2,67x)", tổng số tham số sẽ không thay đổi ngay cả khi số ma trận tăng thêm một. Lý do tại sao các mô hình LLaMA sử dụng con số nửa vời cho chiều rộng FFN là phần còn lại của sự điều chỉnh 2/3 này.

Các thí nghiệm so sánh trong bài báo cũng được tiến hành trong những điều kiện này. Đó là lý do tại sao lập luận cho rằng chất lượng tăng theo cùng một tỷ lệ, thay vì ``nó mạnh hơn vì bạn tăng các thông số.''

Đây là điểm có rất nhiều hiểu lầm. Khi bạn nghe thấy "SwiGLU nặng", bạn nên kiểm tra xem bạn có đang nói về việc triển khai không điều chỉnh độ rộng hay không.

Tuy nhiên, ngay cả khi số tham số giống nhau thì khả năng truy cập bộ nhớ sẽ tăng lên do phép nhân ma trận được thực hiện ba lần. Tốc độ học tập sẽ không bao giờ giống hệt nhau.

Hãy chuyển sang cấp độ thực hiện.

Mất bao nhiêu thời gian để thực hiện?

Với PyTorch, bạn có thể viết nó trong khoảng 10 dòng. Chỉ cần thay thế nội dung của lớp FFN hiện có mà không thay đổi cấu trúc tổng thể của mô hình.

Bộ xương được hiển thị dưới dạng mã giả.

class SwiGLUFFN(nn.Module):
    def __init__(self, dim, hidden_dim):
        super().__init__()
        # hidden_dim は 4*dim ではなく 8/3*dim 程度にする
        self.w_gate = nn.Linear(dim, hidden_dim, bias=False)
        self.w_up   = nn.Linear(dim, hidden_dim, bias=False)
        self.w_down = nn.Linear(hidden_dim, dim, bias=False)
        self.act = nn.SiLU()

    def forward(self, x):
        return self.w_down(self.act(self.w_gate(x)) * self.w_up(x))

Có 3 điểm nổi bật.

3 lớp tuyến tính (w_gate w_up w_down)
nn.SiLU() là thực thể của Swish
* là phép nhân theo phần tử. Đây là cổng

Thông thường trong việc triển khai LLM sẽ bỏ qua thuật ngữ sai lệch. Tuy hiệu quả yếu nhưng lại tiêu tốn thông số.

Điều có xu hướng gặp khó khăn trong quá trình triển khai là cách xác định Hidden_dim. Thay vì sử dụng giá trị nhân với 8/3 như hiện tại, người ta thường làm tròn nó thành bội số mà GPU có thể xử lý hiệu quả (chẳng hạn như bội số của 256). Việc làm tròn này làm cho cài đặt mô hình đã xuất bản xuất hiện dưới dạng số không đều.

Nếu bạn muốn dùng thử trên một mô hình nhỏ, sẽ nhanh hơn khi sử dụng thư viện đã triển khai hiện có. Những người đã quen với việc xây dựng môi trường cục bộ xung quanh việc tạo hình ảnh sẽ có thể dễ dàng cảm nhận được nó và bài viết đề cập đến sự khác biệt giữa ComfyUI và Stable Diffusion cũng đề cập đến cách thay thế các thành phần bên trong mô hình.

Nên sử dụng ReLU, GELU và SwiGLU như thế nào cho đúng cách?

Nếu bạn đang xây dựng một mẫu Transformer mới thì SwiGLU là sự lựa chọn của bạn. ReLU được sử dụng cho các ứng dụng nhúng yêu cầu độ nhẹ và GELU được sử dụng khi cần có khả năng tương thích với các nội dung hiện có.

Lập bảng các tài liệu để phán xét.

Mục đích	Khuyến khích	lý do
Học các mô hình ngôn ngữ quy mô lớn mới	SwiGLU	Chất lượng sẽ được cải thiện ở quy mô tương tự. Tiêu chuẩn mô hình chính
Suy luận cạnh mô hình nhỏ	ReLU	Tính toán nhẹ và khả năng tương thích tốt với lượng tử hóa
Đổi mới các mô hình BERT hiện có	GELU	Tận dụng mức tạ đã được tập luyện trước
Hình ảnh CNN	ReLU / SiLU	Do cấu trúc FFN khác nhau nên lợi ích của việc chuyển đổi GLU là nhỏ.

Nói cách khác, SwiGLU đã trở thành tiêu chuẩn trong bối cảnh các mô hình ngôn ngữ Transformer. Ở các khu vực khác, đó là một câu chuyện khác.

Xin lưu ý rằng không có ích gì nếu chỉ thay thế chức năng kích hoạt của một mô hình đã được đào tạo hiện có. Các trọng số được tối ưu hóa kết hợp với chức năng kích hoạt. Nếu muốn thay thế thì việc học lại là điều kiện tiên quyết.

Đây là nguyên nhân dẫn đến thất bại trong việc cố gắng tinh chỉnh và mất đi độ chính xác.

Những mẫu máy nào sử dụng SwiGLU?

Được sử dụng bởi PaLM của Google, LLaMA của Meta và DeepSeek. Vì nhiều mẫu xe có trọng lượng mở có nguồn gốc từ hệ thống LLaMA nên nó đã trở thành tiêu chuẩn trên thực tế.

Tổ chức phổ biến việc nhận con nuôi.

dòng dõi kiểu mẫu	Nhà phát triển	Cấu hình FFN
PaLM	Google	SwiGLU
LLaMA	Meta	SwiGLU
tìm kiếm sâu	tìm kiếm sâu	SwiGLU
Dòng GPT sớm / BERT	OpenAI/Google	GELU
Biến áp của giấy gốc	Google	ReLU

Nói cách khác, các thế hệ được chia thành thế hệ trước và sau năm 2020. Dòng chảy là ReLU → GELU → SwiGLU.

Có nhiều mô hình mở tuân theo kiến trúc của LLaMA và hầu hết chúng đều kế thừa SwiGLU. Nó được định vị là một phần của bộ thiết kế có tên là kiểu Llama (RMSNorm, RoPE, SwiGLU).

Số phiên bản mới nhất và trạng thái áp dụng của từng mô hình biến động nhanh chóng, vì vậy tốt nhất bạn nên kiểm tra kho lưu trữ chính thức của từng công ty trước khi triển khai.

Đối với những người muốn theo dõi những chuyển động xung quanh mô hình của Meta, bài viết tóm tắt cách sử dụng và các tính năng của Meta AI sẽ là một điểm đầu vào dễ đọc.

SwiGLU có điểm yếu nào không?

Có ba. Tăng khả năng truy cập bộ nhớ, tăng độ phức tạp khi triển khai và các cuộc tranh luận chưa được giải quyết về tính ổn định trong học tập.

Tôi sẽ xem chúng theo thứ tự.

ngốn băng thông bộ nhớ

Phép nhân ma trận tăng từ 2 lần lên 3 lần. Ngay cả khi số lượng tham số giống nhau thì số lần đọc và ghi của bộ nhớ GPU sẽ tăng lên. Có những tình huống trong đó việc truyền dữ liệu khứ hồi trở thành nút thắt cổ chai thay vì chính việc tính toán.

Nỗ lực tối ưu hóa hạt nhân

Chúng ta cần một sự tối ưu hóa kết hợp ba tích ma trận và tích phần tử thành một (kết hợp). Nếu bạn viết trung thực, kết quả trung gian sẽ được ghi vào bộ nhớ, làm chậm tốc độ. Nó đã được hỗ trợ bởi các khuôn khổ chính, nhưng vẫn có những cạm bẫy khi triển khai khuôn khổ của riêng bạn.

Sự ổn định của việc học tập tiếp tục được tranh luận.

Việc thiết kế các hàm kích hoạt tiếp tục được nghiên cứu như một yếu tố ảnh hưởng đến tính ổn định học tập của các mô hình quy mô lớn. Ngoài ra còn có các đề xuất cho các chức năng kích hoạt mới dựa trên SwiGLU nhưng nhằm mục đích vượt xa điều đó. Một ví dụ là một hàm nhắm mục tiêu rõ ràng đến sự ổn định trước khi đào tạo, chẳng hạn như PowLU.

Nói cách khác, SwiGLU không phải là điểm cuối. Hiểu đúng thì đây là giải pháp tốt nhất vào lúc này.

Bất chấp những điểm yếu của nó, lý do tại sao nó tiếp tục được áp dụng là vì nó ``chắc chắn sẽ cải thiện được chi phí thay thế.''

Có sự so sánh nào có thể hiểu được ngay cả khi bạn không giỏi các công thức toán học không?

Sẽ rất hợp lý nếu bạn nghĩ về mối quan hệ giữa vòi nước và vòi. Nước chảy qua vòi là “giá trị”, mức độ mở của vòi là “cổng”.

ReLU loại FFN thông thường là một ống có vòi cố định. Khi áp lực nước vượt quá một mức nhất định, nó sẽ chảy và khi giảm xuống dưới mức đó thì nó sẽ dừng lại. Các quy tắc luôn giống nhau.

SwiGLU là loại vòi thay đổi độ mở của vòi mỗi lần bạn xả nước. Hơn nữa, yếu tố quyết định mức độ mở là một ống mỏng khác phân nhánh từ cùng một nguồn nước.

"Chúng tôi xem xét các đặc tính của nước hiện đang chảy và quyết định lượng nước sẽ chảy qua."

Đây là cách cổng hoạt động. Có thể tạo trạng thái mở 30%, không mở hoàn toàn cũng không đóng hoàn toàn. Điều này cũng dẫn tới lý do tại sao chúng ta sử dụng Swish thay vì sigmoid.

Một sự tương tự khác. Đây là một fader trộn âm thanh. Với mỗi cảnh trong bài hát, tôi nâng giọng và hạ trống. Cơ chế cổng tự động thực hiện việc điều chỉnh này tùy thuộc vào nội dung biểu diễn.

Nói cách khác, đó là sự khác biệt giữa cài đặt bộ chỉnh âm cố định (=ReLU) và người điều chỉnh nó trong khi nghe bài hát (=SwiGLU).

Bây giờ chúng ta đã nói về phần tóm tắt, hãy chuyển sang trình tự học tập.

Tôi nên biết điều gì trước khi học SwiGLU?

Đầu tiên, hãy hiểu cấu trúc tổng thể của Transformer, đặc biệt là vị trí của lớp FFN. Ngay cả khi bạn chỉ biết Chú ý, bạn sẽ không thể nắm bắt được ý nghĩa của SwiGLU.

Đây là thứ tự được đề xuất.

bước chân	Những gì bạn học	hướng dẫn
1	Cấu trúc khối máy biến áp (Chú ý + FFN)	Có thể vẽ toàn bộ bức tranh
2	Vai trò của hàm kích hoạt (tại sao cần có tính phi tuyến)	Có thể giải thích cách ReLU hoạt động
3	Cấu trúc cổng GLU	Hiểu phép nhân của hai đường dẫn
4	Hình dạng Swish/SiLU	Bạn có thể nhận ra sự khác biệt với ReLU
5	Quy tắc SwiGLU + 2/3	có thể được thực hiện

Nói cách khác, đến giai đoạn thứ 4 là kiến thức tiên quyết. Nếu bỏ qua phần này, cuối cùng bạn sẽ ghi nhớ ``hàm nhân ba ma trận.''

Nếu muốn tăng hiệu quả thu thập thông tin thì tốt nhất bạn nên sử dụng những công cụ mạnh về tìm kiếm bài viết. Hướng dẫn đầy đủ về Felo này bao gồm cách sử dụng nó để tìm kiếm các giấy tờ và tài liệu kỹ thuật bằng tiếng Nhật.

Nguồn tài liệu học tập chủ yếu bằng tiếng Anh. Bài viết gốc ``GLU Variants Cải thiện Máy biến áp'' ngắn 5 trang nên có thể đọc qua bằng công cụ dịch thuật.

Tôi nên biết điều gì nếu tôi đang sử dụng LLM trong công việc của mình?

Bạn không cần biết chi tiết về SwiGLU trừ khi bạn muốn tạo mô hình của riêng mình. Tuy nhiên, bạn nên nhớ rằng “sự khác biệt về kiến trúc tạo nên sự khác biệt về chất lượng”.

Vẽ một đường thực tế.

ai cần biết

Đào tạo trước và học tập liên tục các mô hình nội bộ
Chịu trách nhiệm tối ưu hóa công cụ suy luận
Cơ sở kỹ thuật cần thiết để lựa chọn mô hình

Một người nào đó bạn không cần biết

Gọi và sử dụng LLM bằng API
Công việc chính là thiết kế các prompt (hướng dẫn về AI)
Quyết định lựa chọn công cụ dựa trên chức năng và giá cả

Tuy nhiên, ngay cả trong trường hợp sau, cũng hữu ích khi hiểu rằng lý do dẫn đến hiện tượng “hiệu suất khác nhau mặc dù có cùng số lượng tham số” là do kiến trúc. Thật nguy hiểm khi so sánh các mô hình chỉ dựa trên số lượng tham số.

Nếu bạn đang ở vị trí đánh giá các công cụ AI trong công ty của mình, bạn cần tìm ra cách xử lý những khác biệt về mặt kỹ thuật. Cách chọn công cụ AI cho đánh giá nội bộ liên quan đến ý tưởng về mức độ thông số kỹ thuật nên được đưa vào đánh giá.

Thiết kế bên trong của mô hình không phải là yếu tố duy nhất ảnh hưởng đến chất lượng đầu ra của Generative AI. Việc lựa chọn một mô hình phù hợp với ứng dụng sẽ có tác động thực tế lớn hơn. Việc so sánh các công cụ tạo hình minh họa cũng có thể được đọc từ góc độ tương tự.

Ban biên tập Phán quyết

SwiGLU là lựa chọn nên chọn nếu bạn đang chế tạo Máy biến áp ngay bây giờ. Chi phí thực hiện là 10 dòng, có thể được bù đắp bằng cách điều chỉnh độ rộng của các tham số và chất lượng chắc chắn sẽ được cải thiện. Những cải tiến mang lại hiệu quả chi phí rõ ràng như vậy là rất hiếm.

Tuy nhiên, việc đánh giá quá cao cũng bị cấm. Điều này không có nghĩa là mô hình sẽ trở nên thông minh hơn đáng kể khi chuyển sang SwiGLU. Một cải tiến khiêm tốn giúp tăng đường cơ sở lên một vài điểm phần trăm. Thật chính xác khi hiểu rằng LLM hiện tại là kết quả của tất cả những điều này.

Thành thật mà nói, điều thú vị nhất về chức năng này là chúng ta không biết tại sao nó hoạt động. Mặc dù bài báo gốc dựa vào Chúa để làm lý do, nhưng nó vẫn trở thành tiêu chuẩn của ngành. Bầu không khí của một lĩnh vực nơi các phép đo thực tế diễn ra trước lý thuyết được cô đọng ở đây.

Điều tôi muốn nói với học sinh là đừng biến SwiGLU thành môn học để ghi nhớ. Ý tưởng về cơ chế cổng cũng có thể áp dụng cho Sự chú ý, LSTM và Hỗn hợp các chuyên gia. Khi bạn nắm được ý tưởng “chọn lọc thông tin theo đầu vào”, sự hiểu biết của bạn về các kiến trúc khác sẽ nhanh chóng tiến bộ.

Đối với những người chỉ muốn sử dụng LLM với API thì chỉ cần biết tên là đủ. Tuy nhiên, khi so sánh các mô hình, tốt hơn hết bạn không nên chỉ nhìn vào số lượng tham số. Việc thiết kế nội dung có hiệu quả.

Xem các so sánh/lựa chọn thay thế liên quan

So sánh các công cụ thực tế sẽ giúp bạn hiểu rõ hơn về quá trình lựa chọn công nghệ.

ChatGPT vs Claude - Sự khác biệt về kiến trúc ảnh hưởng như thế nào đến chất lượng phản hồi
Claude vs Gemini - So sánh sự khác biệt về thiết kế trong xử lý văn bản dài
ChatGPT và Perplexity — Tạo và tìm kiếm, sự khác biệt giữa cách sử dụng
Felo vs Perplexity — Dễ dàng tìm kiếm các giấy tờ và tài liệu kỹ thuật tiếng Nhật
Khái niệm AI và ChatGPT - Sự khác biệt giữa loại nhúng trong doanh nghiệp và loại có mục đích chung

Nếu muốn xem theo danh mục, tốt nhất bạn nên vào danh sách công cụ trò chuyện AI hoặc các công cụ hỗ trợ mã hóa AI.

Các câu hỏi thường gặp (FAQ)

H. SwiGLU và SiLU có giống nhau không?

Không. SiLU (Swish) là hàm kích hoạt đơn và có công thức x × sigmoid(x). SwiGLU đề cập đến toàn bộ cấu trúc GLU sử dụng SiLU cho phần cổng. SiLU là một thành phần và SwiGLU là một sản phẩm được lắp ráp.

Q. Tại sao chiều rộng của lớp giữa được đặt thành 2/3?

Điều này là do hàng đợi tăng từ 2 lên 3. Nếu bạn để nguyên chiều rộng thì các tham số sẽ tăng lên 1,5 lần nên hãy giảm chiều rộng xuống 2/3 để tổng số bằng nhau. Điều này cho phép so sánh được thực hiện trên cùng quy mô với FFN thông thường.

Q. Có thể sử dụng GELU được không?

Nó không tệ. GEGLU (phiên bản sử dụng GELU làm cổng) cũng cho kết quả tốt khi so sánh các bài báo. Lý do khiến SwiGLU trở thành xu hướng chủ đạo phần lớn là do nó đã được PaLM và LLaMA áp dụng.

H. Tôi có thể thay thế chức năng kích hoạt của mẫu máy hiện có không?

Không được khuyến khích. Các trọng số đã học được tối ưu hóa cho các đặc tính của hàm kích hoạt. Nếu bạn thay thế nó, đầu ra sẽ bị méo. Sự thay đổi đòi hỏi phải học lại, hoặc ít nhất là học tập liên tục trên diện rộng.

Câu hỏi: Tốc độ suy luận có bị chậm lại không?

Ngay cả khi số lượng tham số giống nhau, quyền truy cập bộ nhớ sẽ tăng lên khi số lượng phép nhân ma trận tăng lên. Sử dụng kernel được tối ưu hóa sẽ làm giảm sự khác biệt nhưng sẽ không hoàn toàn giống nhau. Chúng tôi khuyên bạn nên kiểm tra bằng phép đo thực tế.

H. Có chức năng kích hoạt mới nào có thể thay thế SwiGLU không?

Thiết kế các chức năng kích hoạt là một lĩnh vực đang được nghiên cứu liên tục. Ngoài ra còn có những đề xuất như PowLU nhằm cải thiện tính ổn định của việc học. Tuy nhiên, tính đến tháng 8 năm 2026, tiêu chuẩn mô hình đại chúng chính vẫn là SwiGLU.

Q. Tôi có cần đọc báo không?

Nếu bạn muốn xây dựng mô hình của riêng mình, bạn nên đọc phần này. "GLU Variants Cải thiện Máy biến áp" ngắn khoảng 5 trang và cài đặt điều kiện cho các thử nghiệm so sánh rất hữu ích. Nếu bạn ở vị trí của người dùng thì nội dung bài viết này là đủ.

H. Nó cũng được sử dụng trong các mô hình tạo hình ảnh phải không?

Nó có thể được sử dụng trong các mô hình tạo ảnh có cấu trúc Transformer. Tuy nhiên, do cấu trúc của FFN khác nhau trong các mô hình dựa trên CNN nên tác dụng của GLUization bị hạn chế. Chỉ riêng SiLU thường được sử dụng trong CNN.

Đọc cái này lần sau

Nếu bạn muốn quay lại thế giới thực từ bên trong mô hình, hãy xem hướng dẫn đầy đủ của Felo. Nếu bạn tạo ra một môi trường nơi bạn có thể theo dõi các tài liệu học thuật và tài liệu kỹ thuật tiếng Anh bằng tiếng Nhật, bạn sẽ có thể tự mình theo dõi các loại chủ đề kiến trúc mới này.