Hỗn hợp độ sâu là một phương pháp tự động xác định xem nên chuyển hay bỏ qua các phép tính cho từng mã thông báo trong mỗi lớp của Máy biến áp và phân bổ tài nguyên tính toán có điều kiện.
Hỗn hợp độ sâu (MoD) là một kiến trúc không phân bổ thống nhất tính toán cho tất cả các mã thông báo trong mỗi lớp của Máy biến áp mà thay vào đó xác định động cho từng mã thông báo xem nên vượt qua hay bỏ qua việc tính toán của lớp đó và phân bổ tài nguyên tính toán có điều kiện. Trong khi Hỗn hợp các chuyên gia giới thiệu phân nhánh có điều kiện trong việc lựa chọn chuyên gia (tham số), MoD được đặc trưng bằng cách giới thiệu phân nhánh có điều kiện theo hướng sâu của lớp và được cho là có thể đạt được hiệu suất tương tự với ít FLOP hơn. Trong các hoạt động thực tế tính đến năm 2026, sẽ có nhiều trường hợp áp dụng cấu hình kết hợp kết hợp với MoE (Hỗn hợp các chuyên gia) hơn là chỉ sử dụng MoD và thay vì thay thế hoàn toàn Máy biến áp dày đặc hiện có, nhiều khả năng nó sẽ được chọn tại hiện trường để áp dụng một phần cho lớp mà chi phí suy luận sẽ được giảm xuống. Những cạm bẫy bao gồm tiêu chí định tuyến phụ thuộc nhiều vào dữ liệu huấn luyện, do đó, các quyết định bỏ qua có xu hướng trở nên không ổn định với các phân phối đầu vào không mong muốn và cần có một quy trình đánh giá riêng để phát hiện sự suy giảm chất lượng. Khi tự mình triển khai hệ thống, thông lệ tiêu chuẩn tại hiện trường là bắt đầu bằng việc xác minh trên mô hình quy mô nhỏ, có tính đến chi phí bổ sung cho việc học định tuyến và giá thị trường.