Một cơ chế tự động cân nhắc những gì cần tập trung vào trong chuỗi đầu vào. Cốt lõi của máy biến áp.
Cơ chế chú ý là một cơ chế tự động cân nhắc vị trí nào trong chuỗi đầu vào mà mạng nơ-ron nên chú ý tới. Người ta thường hiểu rằng ``that'' trong câu ``He read a book. Thật thú vị.” được hiểu là ám chỉ “một cuốn sách”. Transformer kết hợp sự tự chú ý (mối quan hệ giữa các vị trí trong cùng một bộ truyện) và sự chú ý chéo (giữa các bộ truyện khác nhau). Năm 2026, các phiên bản được tối ưu hóa như Flash Chú ý / Chú ý nhiều truy vấn / Chú ý truy vấn nhóm sẽ là tiêu chuẩn và tốc độ suy luận sẽ nhanh hơn 5-10 lần so với thế hệ đầu tiên. Việc thực hiện đơn giản đến mức đáng ngạc nhiên: phép nhân ma trận + softmax, và lý do khiến nó trở nên phổ biến là vì nó có tính song song GPU cực cao.