Kết nối dư là một phương pháp thiết kế bổ sung đầu vào cũng như đầu ra của lớp mạng thần kinh để ổn định quá trình học tập mà không có độ dốc biến mất ngay cả trong các lớp sâu.
Ghép nối dư là một cơ chế được đề xuất trong ResNet vào năm 2015 và sử dụng cấu trúc phím tắt để thêm đầu vào vào đầu ra của lớp để ngăn chặn sự biến mất độ dốc và ổn định việc học mạng sâu. Nó được cài đặt theo tiêu chuẩn trong mỗi lớp của Transformer sau lớp Chú ý nhiều đầu và lớp tiếp liệu, đồng thời được cho là nền tảng để tăng số lượng lớp LLM từ hàng chục lên hàng trăm. Trong các hoạt động thực tế kể từ năm 2026, có rất ít tình huống trong đó cấu trúc này sẽ được xem xét khi sử dụng mô hình được đào tạo hiện có thông qua API, nhưng tại các địa điểm mà lớp Transformer được triển khai hoặc sửa đổi độc lập, người ta đã chỉ ra rằng các lỗi thiết kế theo thứ tự của đường dư (Pre-LN hoặc Post-LN) hoặc vị trí chuẩn hóa có thể gây ra sự mất ổn định trong học tập. Khi tự mình sửa đổi và học trước kiến trúc, kỹ năng lựa chọn thiết kế này sẽ ảnh hưởng đến hiệu quả học tập và chi phí tính toán, vì vậy khi thực hiện phát triển toàn diện, việc tham khảo các triển khai mã nguồn mở hiện có được coi là một lựa chọn thực tế.