Tham số hoạt động là các phần tham số của toàn bộ mô hình được sử dụng thực tế trong một phép tính suy luận và là chỉ số để đo lường chi phí tính toán của LLM loại MoE.
Tham số hoạt động đề cập đến một phần trong tổng số tham số thực sự được sử dụng để tính toán khi suy ra một mã thông báo trong loại LLM Hỗn hợp các chuyên gia (MoE). Mặc dù tổng tham số của các mô hình MoE quy mô lớn như DeepSeek lên tới hàng trăm tỷ, nhưng số lượng tham số hoạt động bị giới hạn ở hàng chục tỷ, đây là chìa khóa cho thiết kế cho phép suy luận với chi phí thấp. Trong hoạt động thực tế kể từ năm 2026, rất dễ mắc sai lầm khi đánh giá hiệu suất và chi phí nếu chỉ nhìn vào tổng số thông số và khi chọn một mô hình tại hiện trường, điều quan trọng là phải kiểm tra số lượng thông số hoạt động cùng với giá thị trường của phí VRAM và API. Đặc biệt trong các hoạt động tại chỗ, số lượng tham số hoạt động được liên kết trực tiếp với tải băng thông bộ nhớ GPU, do đó, từ góc độ tối ưu hóa chi phí, đây là một chỉ báo ngày càng trở nên quan trọng hơn tổng số tham số.