Song song Tensor là một phương pháp song song hóa để phân chia các hoạt động ma trận trong một lớp của mạng lưới thần kinh khổng lồ giữa nhiều GPU và thực hiện các phép tính song song.
Song song tensor là một kiểu song song hóa mô hình và là phương pháp chia ma trận trọng số khổng lồ (các hoạt động Chú ý và MLP) trong mỗi lớp của Transformer thành các cột và hàng, đặt nó trên nhiều GPU và thực hiện các phép tính đồng thời. Nó được sử dụng rộng rãi để học và suy luận các mô hình ngôn ngữ quy mô lớn xử lý các tham số quá lớn để vừa với một GPU duy nhất và được triển khai rộng rãi trong các khung như Megatron-LM. Nó thường được sử dụng kết hợp với song song đường ống và song song dữ liệu, và do chi phí giao tiếp giữa các GPU ảnh hưởng đến hiệu suất nên thông lệ tiêu chuẩn là định cấu hình nó với các kết nối NVLink tốc độ cao trong cùng một nút. Trong hoạt động thực tế kể từ năm 2026, băng thông liên lạc có thể sẽ trở thành nút cổ chai và sự song song tensor giữa các nút sẽ có xu hướng tránh được tại hiện trường. Ngoài ra, chi phí xây dựng và vận hành của các cụm quy mô lớn có xu hướng cao và xét về mặt giá thị trường, chỉ tính phí hàng giờ cho các phiên bản GPU đám mây cũng có xu hướng đắt đỏ, do đó, chính sách cơ bản trong lĩnh vực này là xác định mức độ song song cần thiết trước khi chọn cấu hình.