MoE (Chuyên gia hỗn hợp) là một phương pháp thiết kế mạng thần kinh thưa thớt có nhiều mạng con chuyên biệt (chuyên gia) và chỉ kích hoạt một số mạng con cho mỗi mã thông báo đầu vào.
MoE là kiến trúc "kích hoạt thưa thớt" trong đó toàn bộ mô hình được chia thành nhiều "chuyên gia" (mạng thần kinh chuyên dụng) và bộ định tuyến chỉ chọn và thực thi một số ít chuyên gia khi xử lý từng mã thông báo. Ưu điểm lớn nhất là nó có thể giảm đáng kể chi phí tính toán trong quá trình suy luận so với mô hình dày đặc có độ chính xác tương đương.
Nhiều mô hình chính tính đến năm 2026, chẳng hạn như Mixtral 8x7B, Gemini 1.5 Pro và GPT-4, đang áp dụng MoE và cơ chế này là nguyên nhân dẫn đến số lượng mô hình ngày càng tăng với ``quy mô tham số lớn nhưng chi phí API thấp.'' Đây là một khái niệm thiết yếu để hiểu sự khác biệt về giá giữa các dịch vụ LLM được giới thiệu trên ReviewAI.
Tuy nhiên, cạm bẫy trong hoạt động thực tế lại nằm ở “bộ nhớ”. Vì tất cả các chuyên gia phải cư trú lâu dài, ngay cả trong cấu hình 8x7B, nên thực tế cần có VRAM tương đương 46,7B. Trong thực thi cục bộ, ngay cả lượng tử hóa 4 bit cũng thường yêu cầu hơn 40GB bộ nhớ GPU và trên thực tế rất dễ gặp phải chi phí phần cứng không mong muốn.
Vào năm 2026, chi phí sử dụng API cho các mô hình MoE có xu hướng rẻ hơn 20-40% so với các mô hình dày đặc có cùng độ chính xác, nhưng chi phí sẽ tăng lên trong quá trình tinh chỉnh vì tất cả các chuyên gia đều được cập nhật. Một hướng dẫn thực tế để lựa chọn trong lĩnh vực này là ''MoE nếu tập trung vào suy luận và một mô hình dày đặc nếu tinh chỉnh liên tục là tiền đề.''