Kết nối GPU là một đường dây chuyên dụng để trao đổi dữ liệu ở tốc độ cao trên nhiều GPU và ví dụ điển hình là NVLink của NVIDIA và chuẩn mạng InfiniBand.
Kết nối giữa các GPU đề cập đến đường dẫn giao tiếp cho phép các GPU trao đổi dữ liệu trực tiếp với nhau khi việc học và suy luận của các mô hình ngôn ngữ quy mô lớn được phân phối trên nhiều GPU. Các tiêu chuẩn đại diện bao gồm NVLink (bên trong các máy chủ), được NVIDIA sử dụng cho các kết nối tốc độ cao giữa các GPU của riêng họ và InfiniBand (giữa các máy chủ), được áp dụng rộng rãi trong các cấu hình cụm trải rộng trên các máy chủ. Nếu băng thông trở thành nút cổ chai, hiệu quả học tập sẽ đạt đến mức ổn định cho dù có bao nhiêu GPU hiệu suất cao được xếp hàng, do đó, thiết kế kết nối được coi là yếu tố ảnh hưởng đến hiệu suất trong học tập phân tán quy mô lớn. Trong hoạt động thực tế tính đến năm 2026, chi phí mua sắm các cụm tương thích NVLink/InfiniBand sẽ vẫn ở mức cao do tầm quan trọng của băng thông này và giá thị trường của các đám mây GPU cũng có xu hướng được phân loại theo thế hệ kết nối. Về cách thực hiện lựa chọn tại hiện trường, điểm thực tế là ưu tiên và kiểm tra thế hệ NVLink cũng như số lượng GPU nếu thang đo được hoàn thành trong một máy chủ, cũng như băng thông InfiniBand và cấu trúc liên kết mạng nếu thang đo được mở rộng trên nhiều máy chủ.