Bộ mã hóa tự động thưa thớt (SAE) là một phương pháp mạng thần kinh phân tách vectơ kích hoạt bên trong LLM thành các đặc điểm thưa thớt và trích xuất chúng thành các đơn vị khái niệm mà con người có thể hiểu được.
Bộ mã hóa tự động thưa thớt (SAE) là một phương pháp học tập không giám sát, trích xuất một chiều có thể hiểu được tương ứng với một đặc điểm ngữ nghĩa duy nhất bằng cách tái cấu trúc kích hoạt lớp ẩn bên trong Transformer từ trạng thái "chồng chất" trong đó nhiều nơ-ron được trộn vào một cơ sở thưa thớt. Người ta nói rằng Anthropic, v.v. đã áp dụng nó làm phương pháp chính để hiểu nội bộ (khả năng diễn giải cơ học) của LLM quy mô lớn kể từ năm 2023. Trong hoạt động thực tế kể từ năm 2026, bản thân việc đào tạo SAE sẽ đòi hỏi chi phí tính toán lớn và các mô hình có hàng tỷ tham số có thể sẽ cần đào tạo vài ngày đến vài tuần trên GPU chuyên dụng. Những cạm bẫy thường được chỉ ra trong lĩnh vực này bao gồm thực tế là các "đặc điểm" được trích xuất không nhất thiết phải có một ý nghĩa duy nhất và vẫn còn vấn đề về "tách và kết hợp đặc điểm" trong đó nhiều khái niệm vẫn đan xen và có sự đánh đổi giữa khả năng diễn giải và độ chính xác của việc tái thiết tùy thuộc vào cách chọn kích thước từ điển (số lượng thứ nguyên tiềm ẩn). Khi triển khai nó trong hoạt động thực tế, việc áp dụng nó một phần cho một lớp cụ thể thay vì cho toàn bộ mô hình mục tiêu được coi là thực tế, xác minh nó ở quy mô nhỏ và sau đó mở rộng quy mô.