Song song đường ống là một phương pháp học và suy luận song song, chia mạng lưới thần kinh khổng lồ thành nhiều GPU theo từng lớp và xử lý tuần tự các lô nhỏ giống như một luồng công việc.
Song song đường ống là một phương pháp học tập phân tán trong đó các mô hình quy mô lớn không thể vừa với một GPU được nhóm thành các lớp, nửa đầu của mô hình được đặt trên GPU1, nửa sau của mô hình được đặt trên GPU2 và dữ liệu được truyền theo cách thức nhóm. Cấu hình kết hợp kết hợp song song tensor (phân chia một lớp giữa các GPU) và song song dữ liệu (sao chép cùng một mô hình và phân phối các lô) được áp dụng rộng rãi như một tiêu chuẩn ngành. Cạm bẫy lớn nhất trong hoạt động thực tế là thời gian chờ đợi của GPU được gọi là "bong bóng đường ống", trong đó các GPU tiếp theo có xu hướng không hoạt động cho đến khi đầu ra từ giai đoạn trước xuất hiện, do đó, các phương pháp lập kế hoạch và phân chia lô vi mô (loại GPipe, loại 1F1B, v.v.) được cho là trọng tâm của việc điều chỉnh tại chỗ. Tính đến năm 2026, đây sẽ là công nghệ gần như thiết yếu cho việc học mô hình với hàng chục tỷ đến hàng nghìn tỷ tham số và giá trị thị trường của các cụm GPU là nếu không có kết nối liên nút tốc độ cao (tương đương với NVLink hoặc InfiniBand), hiệu quả về mặt chi phí có xu hướng giảm đi đáng kể do chi phí liên lạc. Do đó, khi chọn một khung trong hiện trường, người ta thường sử dụng các triển khai hiện có như Megatron-LM hoặc DeepSpeed và không tự mình viết bộ lập lịch.