Mô hình không gian trạng thái (SSM) là một khung toán học để xử lý hiệu quả dữ liệu chuỗi thời gian/chuỗi bằng cách sử dụng đệ quy tuyến tính. Việc triển khai như Mamba tránh được chi phí tính toán thứ cấp của Transformers và thực hiện xử lý ngữ cảnh cực dài với bộ nhớ thấp.
Mô hình không gian trạng thái (SSM) là một khung bắt nguồn từ kỹ thuật điều khiển, xử lý các chuỗi thông qua chuyển đổi tuyến tính của đầu vào → trạng thái ẩn → đầu ra. Mamba, được Albert Gu và các đồng nghiệp công bố vào năm 2023, sử dụng SSM chọn lọc và đạt được độ phức tạp tính toán O(N) vượt quá O(N²) của Transformer cho các chuỗi N có độ dài. Hiện có thể xử lý ngữ cảnh dài hơn 1 triệu mã thông báo với chi phí thực tế. Có ba điểm chính trong hoạt động thực tế vào năm 2026. ① Giá trị thị trường: Model dựa trên Mamba có thể giảm mức sử dụng bộ nhớ GPU từ 30 đến 60% so với Transformer, cải thiện đáng kể chi phí xử lý hàng loạt trên các máy chủ có cùng thông số kỹ thuật. ② Cạm bẫy: Do cấu trúc của nó, SSM dễ bị “quên”, thậm chí trong những bối cảnh rất dài vẫn có trường hợp bỏ sót những thông tin quan trọng ở giữa. Các thiết kế kết hợp với RAG đang trở thành xu hướng chủ đạo trong lĩnh vực này. ③ Cách chọn: Transformer vẫn mạnh cho mục đích trò chuyện và đối thoại, nhưng Mamba là ứng cử viên nặng ký tính đến năm 2026 để xử lý hàng loạt hồ sơ y tế, tài liệu pháp lý và toàn bộ cơ sở mã. ReviewAI cũng liên tục theo dõi các xu hướng trong kiến trúc cơ bản của các dịch vụ LLM chính.