Số lượng tham số là tổng số trọng số mà mạng nơ-ron như LLM thu được thông qua quá trình học và là chỉ số điển hình được sử dụng làm thước đo kích thước và hiệu suất của mô hình.
Số lượng tham số đề cập đến tổng số trọng số và độ lệch trong mạng nơ-ron và từ lâu đã được sử dụng làm chỉ số đại diện để đo lường khả năng học tập và khả năng biểu đạt của mô hình. Kích thước dao động từ hàng trăm triệu đến hàng nghìn tỷ, và người ta thường nói rằng số lượng càng lớn thì có thể học được các mẫu phức tạp hơn, nhưng tài nguyên tính toán và chi phí cần thiết cho suy luận cũng tăng theo tỷ lệ. Trong hoạt động thực tế kể từ năm 2026, việc đánh giá khả năng của một mô hình chỉ dựa trên số lượng thông số được cho là rất nguy hiểm. Ngay cả với cùng số lượng tham số, sự khác biệt về chất lượng dữ liệu đào tạo và kiến trúc có thể dẫn đến sự khác biệt lớn về hiệu suất và trong cấu hình MoE (Chuyên gia hỗn hợp), tổng số tham số và số lượng tham số hoạt động được sử dụng trong tính toán thực tế là khác nhau, do đó, những con số rõ ràng không trực tiếp chuyển thành chi phí. Phương pháp lựa chọn chung trong lĩnh vực này là sử dụng một phương pháp khác nhau cho từng mục đích dựa trên điểm chuẩn công khai, điều kiện thị trường như đơn giá mã thông báo và yêu cầu về độ trễ. Việc tinh chỉnh các mô hình nhỏ bằng cách sử dụng dữ liệu nội bộ để đạt được sự cân bằng giữa chi phí và độ chính xác cũng đang được mở rộng.