Một cấu trúc mạng lưới thần kinh với cốt lõi là cơ chế tự chú ý. LLM / Hình ảnh / Âm thanh Nền tảng của mọi thứ.
Transformer là một cấu trúc mạng thần kinh mà Google đã công bố trong bài báo năm 2017 “Sự chú ý là tất cả những gì bạn cần”, sử dụng cơ chế tự chú ý để cân nhắc song song tất cả các vị trí trong dữ liệu chuỗi. Tất cả các LLM (GPT/Claude/Gemini) đều có cấu trúc là phiên bản mở rộng của phần giải mã Transformer. Việc tạo hình ảnh (Biến áp khuếch tán), âm thanh (Thì thầm) và video (Sora) cũng dựa trên Transformer. Lý do phổ biến của nó là vì nó loại bỏ tắc nghẽn xử lý tuần tự của RNN/LSTM và tối đa hóa tính song song của GPU. Vào năm 2026, chúng tôi đang nghiên cứu các giải pháp thay thế cho Mamba/RWKV, v.v., nhưng Transformer vẫn là mạnh nhất trong hoạt động thực tế và lộ trình của từng nhà cung cấp tập trung vào việc cải tiến dòng Transformer.